![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AIGC面试
文章平均质量分 90
ID_LWQ
Do not go gentle into that good night
展开
-
【推理优化】超详细!AIGC面试系列 大模型推理系列(2)
本期问题快览有哪些常见的大模型推理优化技术介绍下通过流水线处理技术来加速大模型推理方案介绍下并行计算技术来加速大模型推理的方案有哪些通过硬件来加速大模型推理的方式?模型量化是如何加速大模型推理的?有哪些通过缓存来加速大模型推理的方式?vLLM 如何优化大模型并行推理加速什么是 PagedAttention?PagedAttention 技术细节什么是Flash Attention?Flash Attention 技术细节?原创 2024-04-19 21:59:15 · 1728 阅读 · 4 评论 -
【Tokenizer原理篇】超详细!AIGC面试系列 大模型进阶(5)
本期问题快览模型中的Tokenization是指的什么常用的Tokenization方法了解有哪些吗了解什么是Byte-Pair Encoding(BPE)吗介绍下Byte-Pair EncodingBPE的核心算法了解什么是WordPiece吗介绍一下 WordPiece 思路了解什么是SentencePiece吗介绍一下 SentencePiece 思路Byte-Pair Encoding, WordPiece, SentencePiece这三者有什么区别不同大模型LLMs 的分词方原创 2024-04-18 17:50:34 · 1356 阅读 · 1 评论 -
【推理框架】超详细!AIGC面试系列 大模型推理系列(1)
本期问题快览有哪些大模型推理框架了解vllm吗介绍下vllm的核心技术了解faster transformer吗介绍下faster transformer的核心技术了解Xinference吗了解llama.cpp项目吗llama.cpp项目突出的优势是什么原创 2024-04-18 17:49:37 · 2380 阅读 · 1 评论 -
【模型微调】超详细!AIGC面试系列 大模型进阶(4)
本期问题聚焦于大模型微调与微调相关技术什么情况下需要微调大模型?什么是大模型参数微调?什么是大模型的指令微调?大模型参数微调的好处?大模型指令微调的好处?预训练和有监督微调操作有什么不同?多轮对话任务如何微调模型?微调后的模型出现能力劣化,灾难性遗忘是怎么回事?微调模型需要多大显存?原创 2024-03-25 19:58:55 · 1370 阅读 · 1 评论 -
超详细!AIGC面试系列 大模型进阶(3)
如何训练自己的大模型?训练中文大模型有啥经验?什么情况下需要预训练大模型样本量规模增大,训练大模型时出现OOM错,怎么解决?模型训练的数据集一般从哪里找?如何解决三个阶段的训练(SFT->RM->PPO)过程较长,更新迭代较慢问题?奖励模型在训练大模型中有什么作用?在训练大型语言模型的过程中,如何确保模型的公平性和无偏见?原创 2024-03-25 19:41:57 · 929 阅读 · 1 评论 -
超详细!AIGC面试系列 大模型进阶(2)
如何让大模型处理更长的文本?如果想要在某个模型基础上做全参数微调,究竟需要多少显存?什么是有监督微调SFTSFT 指令微调数据如何构建?领域数据训练后,通用能力往往会有所下降,如何缓解模型遗忘通用能力?领域模型Continue PreTrain ,如何让模型在预训练过程中就学习到更多的知识?进行SFT操作的时候,基座模型选用Chat还是Base?领域模型微调 领域评测集如何构建原创 2024-03-11 22:01:47 · 1603 阅读 · 0 评论 -
超详细!AIGC面试系列 大模型进阶(1)
大模型常用的激活函数有哪些?Multi-query Attention 与 Grouped-query Attention 是否了解?区别是什么?GPT3、LLAMA、ChatGLM 的Layer Normalization 的区别是什么?各自的优缺点是什么?llama 输入句子长度理论上可以无限长吗?大模型长下文能力的提升关键是什么?什么是 LLMs 复读机问题?为什么会出现 LLMs 复读机问题?如何减轻LLMs的复读机问题?什么情况用Bert模型,什么情况用LLaMA、ChatGLM类原创 2024-03-11 21:44:20 · 1157 阅读 · 0 评论 -
超详细!AIGC面试系列 大模型基础(2)
本期问题快浏1. 大模型领域的Scalling law是什么意思2. 大模型的Tokenizer的实现方法及原理?3. 为什么大模型这么消耗显存?4. 简要介绍下Transformer架构5. 训练一个大模型需要哪些步骤?6. 微调一个大模型需要哪些步骤?原创 2024-03-10 15:54:22 · 1152 阅读 · 1 评论 -
超详细!AIGC面试系列 大模型基础(1)
本系列是结合AI搜索技术所得素材然后整理笔记而成。所有问题答案均由AI提供初稿,而后修缮而成。担心提供错误答案怎么办?每个问题回答后面我都会放上原文的链接,方便大家深度阅读。我会尽量根据自己的判断,审核一下AI的回复做点修正,如有纰漏尽情谅解。另外有覆盖不到的问题,尽情留言,我可能不会逐一回复,但一定会在下期更新。原创 2024-03-10 15:17:39 · 2064 阅读 · 1 评论