大模型LLM算法工程师技术面试指南

大模型LLM算法工程师技术面试指南

AI大模型全套学习资料
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

写在前面

这个系列的笔记，将作为我过去一年多来在大模型领域一线实战的经验总结，以及作为大模型面试官的经验汇总，希望可以帮到更多打算踏入大模型算法领域的同学。

简要介绍一下自己的情况，8 年前通过自学入行人工智能，毕业加入阿里计算平台事业部，大规模机器学习系统，最近两年主要从事智能驾驶方向的大模型研究和实战。同时工作之余也做了一些算法教育相关的工作，辅导过一些学弟学妹。

为什么会想写这个系列

我是自学入行的，深知这里面的各种心酸，回想刚入门时，总是时不时在想，要是有人能将自己工作内容真实分享出来就好了。我准备面试时，也总是会想，要有个大佬能站在面试官的角度帮我分析一下这些题目就好了。

在我辅导过的学弟学妹中，大部分人也是同样的问题，因此才有了这个系列笔记的想法。我希望站在过来人的角度，给大家分享我的工作经验，还原大模型算法工作中用到的技术，以及从面试官的角度告诉你，为什么你的简历每次都石沉大海？为什么你每次面试都是炮灰？

为什么选择大模型方向

很简单，机会多，前景大

相比于深度学习等其他领域，大模型现在还处于洼地，有更大的需求。而且相比AI其他方向，大模型的优质资料实在太少，大多都是各种搬运和抄袭，很少有高质量的一线工作实战经验分享和面试总结

所以我会在24年重点做这一块，如果大家有什么好的建议，也可以私信我。

打算写哪些内容

目前的打算分成几个模块：工作实战、面试能力、技术概念、论文复现，大家有什么其他想看的，也可以私信我，尽量满足大家的需求

1. 工作实战

在工作实战这块，我会结合自己8年的算法工程师经验，给出一个大模型工程师的实际工作内容和技术要求

目前国内各家出了很多的国产大模型，但大部分公司做“基座”的并不多，更多的是聚焦大模型在各领域的落地

因此利用垂直领域数据+大模型微调是工作的重点

对于模型的选型，一定要结合公司的硬件架构水平来定，并不是越大越好

数据层面，大模型的微调对数据的质量要求非常高，这块花的时间往往占据60%以上

产品化层面，还要注重大模型的轻量化和大模型推理加速这些实战经验和技巧，平时多分析数据的badcase，总结问题，从业务数据的源头找到解决场景落地过程中问题的办法。

2. 面试能力

市面上有不少所谓的大模型面试题，不过说句实话，90%都比较垃圾，真实面试根本不会这么问

所以作为这个系列的重点，我会整理我作为面试官参与的多场大模型面试

精选出优质面试题目 【至少300道】 进行详细讲解

说明一下，这个讲解不仅仅是给个答案让你背下来那么简单，那样没多大意义

我会以面试官的视角告诉你，当面试官问出这个问题时，他想考察你什么？他期待的答案是什么？给你挖了哪些坑？在面试应该怎么引导面试官？

所谓知己知彼，搞清楚面试官的想法，你才能从更高维度去把控面试

很多同学看完之后就会恍然大悟，为什么你每次面试都被面试官血虐？为什么你每次面试都是炮灰？

3. 论文代码复现

很多同学可能认为进入产业界了，每天游走在各个繁忙的业务之间，根本没有时间看论文。

首先我想说，这个想法是极其错误的！

这么说吧，算法工程师是要求自我更新最快的一个工种。知识更新频率排序：算法工程师 > 软件工程师 > 硬件工程师

就拿大模型领域来说，如果你3个月没有追最新的论文，可能业界热点技术你就很难跟上了，除非花大量时间去恶补

对于我自己而言，基本每周都会follow最新论文列表，选择刷6～10篇不错的论文，花15～20分钟去速看

对于特别优秀的论文，我会花1个小时，甚至半天去精读，例如InstructGPT，DPO这种级别的，同时还会去复现论文思想，或者阅读相关的源码

如果看论文能理解到7分，那读完代码一定可以帮助你理解到9分

所以读到这里你不禁要问自己一个问题：为什么我掌握的深度不够？那一定是你论文读太少了。。

4. 技术概念

这块我会结合自己工作中的实际应用，尽可能的把大模型中的各种技术概念，做一个通俗易懂的讲解

大模型其实是很复杂的一个综合性领域，涉及的技术范围之广

首先你得会机器学习，还要会点深度学习，深度学习领域的NLP技术你必须得熟练掌握

然后就是大模型的预训练技术，提示工程技术，高效微调技术。。。

除了算法理论，你还得对工程架构和系统有所了解，因为随时有可能训练开发时遇到了问题要排查。

比如你要训练一个有几百亿参数的大模型，这时候你得上分布式来训练吧，所以就要了解分布式的通信技术，流水线技术，数据并行技术。

如果单个机器放不下，还需要用到模型并行技术，张量并行技术。如果发现训练速度太慢，一个任务要跑几个月，这肯定是不可接受的。这时候你还要会训练优化的技巧，比如访存优化相关的FlashAttention, PagedAttention, KV Cache，重计算等技术。

这还没完，模型距离真正产品上线还要做一个事儿，就是模型推理优化。达不到线上QPS怎么办？——优化你模型的模型延迟；吞吐率太小了怎么办？——优化你模型的并行度；模型太大了放不下怎么办？——减小模型的大小（量化/稀疏化/剪枝）。。把这些东西都完整的弄完了，这才算是一个合格的大模型产品上线了

第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
●大模型 AI 能干什么？
●大模型是怎样获得「智能」的？
●用好 AI 的核心心法
●大模型应用业务架构
●大模型应用技术架构
●代码示例：向 GPT-3.5 灌入新知识
●提示工程的意义和核心思想
●Prompt 典型构成
●指令调优方法论
●思维链和思维树
●Prompt 攻击和防范
●…
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
●为什么要做 RAG
●搭建一个简单的 ChatPDF
●检索的基础概念
●什么是向量表示（Embeddings）
●向量数据库与向量检索
●基于向量检索的 RAG
●搭建 RAG 系统的扩展知识
●混合检索与 RAG-Fusion 简介
●向量模型本地部署
●…
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
●为什么要做 RAG
●什么是模型
●什么是模型训练
●求解器 & 损失函数简介
●小实验2：手写一个简单的神经网络并训练它
●什么是训练/预训练/微调/轻量化微调
●Transformer结构简介
●轻量化微调
●实验数据集的构建
●…
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
●硬件选型
●带你了解全球大模型
●使用国产大模型服务
●搭建 OpenAI 代理
●热身：基于阿里云 PAI 部署 Stable Diffusion
●在本地计算机运行大模型
●大模型的私有化部署
●基于 vLLM 部署大模型
●案例：如何优雅地在阿里云私有部署开源大模型
●部署一套开源 LLM 项目
●内容安全
●互联网信息服务算法备案
●…
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】