超全版本AIGC算法工程师面经总结，建议收藏

最新推荐文章于 2024-10-02 22:20:11 发布

AI大模型 lose and dream

最新推荐文章于 2024-10-02 22:20:11 发布

阅读量1k

点赞数 20

文章标签： AIGC 算法开发语言语言模型神经网络机器学习目标检测

本文链接：https://blog.csdn.net/lhx17673139267/article/details/140655379

版权

本篇为AIGC算法工程师面试经验复习大纲总结。

自openai发布Sora、chatGPT等一系列重磅产品，相关新闻持续刷屏，国内aigc产品以及相关岗位的机会、工资也越来越可观。

本篇为来自各大厂从业者等业内人士做的免费面经总结，希望能为想进入或者即将入行这一领域的小伙伴提供一些有益的参考和指导！超强干货！建议收藏！

那么目前算法工程师面试将会考一些什么问题? 笔者作为面试官，对基本会遇到的问题做一个比较全面的总结，附上问题与对应答案，直接上干货。

本篇会概述项目经历、深度学习基础、各细分算法（NLP、CV、大模型等）、前沿算法论文了解、leetcode算法基础、python及C++语言基础、数学概率及智力题、手撕代码以及场景题等…

下面是一个快捷目录。

由于相关内容过多，本文只列举大纲与部分已发布的详细问题，更多内容与答案会陆续发出，最终会总结出免费pdf方便大家复习。

在这里插入图片描述

一、个人项目经历

对于所有的相关经历，都是跟面试官聊技术的切入点，大家一定要进行详细的准备，具体的注意点如下：

1.1 如何介绍

从数据规模、特征、指标、目前使用的模型方法、项目难点详细介绍

1.2 加分点

自己的思考、学习、成长

一定要明确地说出自己做的项目亮点！一定要仔细地思考，业务考虑得够广，技术考虑得够深。

1.3 注意事项

不要只描述业务，用到了这个岗位对应到的哪些技术，从自己的能力、自己设计的方案出发。

用到的技术一定要详细准备。

二、深度学习基础

2.1 公式理解类

在实际面试中，这类问题很大概率需要手写，或者需要很清晰地讲出公式含义及原理，这个过程中可能会遭到反复拷打，甚至手撕代码。

这里做一个部分面试问题总结，并将整理资料放在下方，大家可以具体点击来看。

手写softmax公式，手写BN公式，softmax层的label是什么
手写交叉熵公式，分类为什么用交叉熵不用平方差
手写知识蒸馏公式
手写NER损失函数
为什么逻辑回归用sigmoid激活函数？多分类逻辑回归是否也是sigmoid？
手推lr梯度, 交叉熵损失为什么有log项？为什么取负
…

2.2 模型训练通识

模型训练通识类题目，此类宽泛的问题类似于命题作文，看似简单且答案明确，但实际考量的空间非常大；单纯地背完八股面试官往往是不满意的，一般的反应是再问更细节的内容或者直接反馈觉得你还说的不够。

这种时候最好要结合一些自身的实践经验，或者将题目与答案说得更深一些。

这里做一个部分的面试问题总结，并将整理资料放在下方。

介绍一下L1、L2正则化 L1 为啥能得到稀疏
激活函数的优缺点：sigmoid、tanh、relu、gel
如何处理数据不平衡问题
训练中学习率调整策略是怎样的
介绍一些神经网络初始化的一些方法
有哪些归一化方案
…….

三、细分算法

3.1 NLP系列

NLP系列问题还是需要结合项目经历，尽量把自己项目中涉及到的技术讲透彻。

训练时词表大小过大，输出层过大的优化方法
如何优化Muti-Head的计算？
注意力机制有哪些种类，本身原理上起了什么作用
CNN、RNN、Transformer分别怎么编码文本
embedding方式有哪些
…….

3.2 transformer 细节

为什么transformer用Layer Norm？有什么用？
transformer为什么要用三个不一样的QKV？
Bert中为什么要在开头加个[CLS]?
Bert中有哪些地方用到了mask?
Bert为什么要使用warmup的学习率trick
…….

3.3 大模型系列

大模型系列目前涉及到的岗位和内容应用实际是非常多的，所以除了简单的问题罗列，这里做了一个大致的学习路线分类，后续会持续完善这块版图。

目前针对大模型的单个岗位会结合场景去靠，除了文本，还需要考虑图像embedding、数值、逻辑推理类型的数据用于指令微调时更深度的用法。

此外具体对应到的哪些技术，要从自己的能力、自己设计的方案出发；场景中用到的技术一定要详细准备。

介绍一下常见大模型结构：gpt、bart、t5等
in-context learning和传统finetune的区别
prompt-tuning和prefix-tuning的区别，各自的优缺点
解释一下大模型的位置编码（rope等）
介绍一下gpt的训练流程
MoE的原理

……

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍