【人工智能时代】- LLM实践面试宝典

于 2024-09-22 19:57:36 发布
阅读量989 收藏 29
点赞数 10
分类专栏： 人工智能时代 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoli8748/article/details/142442435
版权

折腾大模型（small LLM）一段时间了，以下是平民版的LLM学习记录，记录了自己遇到的问题，以及给出不完美的解答。

LLM基础

1. 最主流的开源模型？

ChatGLM-6B

LLaMA-7B

2. 两者结构上的区别？

ChatGLM-6B是Prefix LM(PLM)，LLaMA-7B是Causal LM(CLM)。

（参考google的论文《UL2: Unifying Language Learning Paradigms》）

3. 哪种架构是主流?

Causal LM，GPT系列就是Causal LM。

软件环境

1. 建议的基础软件环境是什么？

python版本建议使用python3.9以上。

cuda版本建议使用cuda-11.7以上。

c++版本建议升级到c++9.1.0以上。

2. 建议的python环境是什么？
了解本专栏 订阅专栏 解锁全文 超级会员免费看
xiaoli8748_软件开发
关注
专栏目录
订阅专栏
顶级大型语言模型 (LLM) 面试问题与解答 揭秘大型语言模型 (LLM)：关键面试问题和专家解答
iCloudEnd的博客
09-07 832
回答：序列到序列(Seq2Seq) 模型是自然语言处理 (NLP) 中常用的一类神经网络，用于处理数据序列并生成数据序列作为输出。Seq2Seq 模型由两个主要组件组成：编码器和解码器。这些模型已在各种 NLP 任务中得到应用，其中突出的用例是语言翻译和文本摘要。回答：注意力机制从最初在 Transformer 模型中的引入到最近的变体，如 BERT（来自 Transformers 的双向编码器表示）和 GPT（生成式预训练 Transformer）模型，经历了重大演变。
这可能是一份LLM实践面试宝典
zenRRan的博客
05-06 1769
知乎：suc16链接：https://zhuanlan.zhihu.com/p/624918286折腾大模型（small LLM）一段时间了，以下是平民版的LLM学习记录，记录了自己遇到的问题，以及给出不完美的解答。LLM基础1. 最主流的开源模型？ChatGLM-6BLLaMA-7B2. 两者结构上的区别？ChatGLM-6B是Prefix LM(PLM)，LLaMA-7B是Causal LM(...
大模型LLM相关面试题整理-位置编码-tokenizer-激活函数-layernorm
weixin_36378508的博客
10-17 1747
绝对位置编码是一种用于为序列数据中的每个位置添加绝对位置信息的技术。在自然语言处理中，绝对位置编码常用于处理文本序列，特别是在使用Transformer模型进行序列建模的任务中。在传统的Transformer模型中，位置编码使用了正弦和余弦函数的组合来表示相对位置信息，但它并没有提供绝对位置的信息。这意味着，如果将输入序列的位置进行重新排序或删除/添加元素，模型将无法正确地理解序列的新位置。为了解决这个问题，绝对位置编码被引入到Transformer模型中。
大模型LLM相关面试题整理
weixin_36378508的博客
10-20 4012
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。具体的架构可以有多种选择，以下是一种常见的大模型LLM的架构介绍：Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。
【2024春招必看】字节跳动LLM面试题大全超详细解析，含应对策略！99%的候选人都在收藏！
Von_016's Blog
03-13 1697
在2024年的字节跳动春招中，随着大型语言模型（LLM）技术的迅速发展和广泛应用，对于掌握这一领域知识和技能的求职者需求日益增长。为了深入评估应聘者对大型语言模型理论、实践应用，以及相关技术和伦理问题的理解和处理能力，我们记录了一系列面试题。这些问题旨在探索应聘者对LLM的基础理论、架构理解，模型训练与优化的能力，以及他们如何处理数据、评估模型性能，实现模型的应用和微调。
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
终端LLM AI模型:mlc-llm
10-10
总之，MLC LLM是人工智能领域的一个重要里程碑，它标志着AI模型正逐渐从云端走向本地，为用户提供了更安全、更快速、更个性化的服务。通过本地部署和强化学习，它有望推动AI技术在各个领域的广泛应用。
0041-极智AI-解读MLC-LLM 让语言大模型运行在任何设备-个人笔记
08-03
0041_极智AI_解读MLC-LLM 让语言大模型运行在任何设备-个人笔记
使用IPEX-LLM加速大语音模型LLM
培根芝士的专栏
04-22 844
IPEX-LLM是一个用于在英特尔CPU和GPU（如本地PC的iGPU、独立显卡如Arc、Flex和Max）上加速本地LLM推理和微调的PyTorch库。
2024大模型秋招LLM相关面试题整理
2401_85378759的博客
07-08 1025
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。具体的架构可以有多种选择，以下是一种常见的大模型LLM的架构介绍：Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。
【大模型】关于LLM大模型的10个问题——大型语言模型的本质是什么？ 如果用数学公式来表达大模型，怎么表示？……
热门推荐
AI天才研究院
05-29 1万+
具体来说，给定一段自然语言文本，大型语言模型可以计算出这段文本在语言的概率分布中的概率，这个概率可以用来判断文本的流畅性、语法正确性等。可能导致某些传统IT行业的转型：人工智能技术的发展可能会导致某些传统IT行业的转型，例如传统的软件开发、测试等工作可能会被自动化和智能化，需要IT从业者具备更多的技能和知识，以适应新的工作需求。总的来说，人工智能技术对数字经济和IT行业的影响是深远的，将会促进数字经济的创新和发展，推动IT行业的数字化和智能化，同时也可能导致某些传统IT行业的转型，需要适应新的工作需求。
2024年大模型面试准备（一）：LLM主流结构和训练目标、构建流程
2201_75499313的博客
03-24 1694
该阶段根据数十万用户给出的提示词，利用在前一阶段训练的 RM 模型，给出 SFT 模型对用户提示词补全结果的质量评估，并与语言模型建模目标综合得到更好的效果。利用这些有监督数据，使用与预训练阶段相同的语言模型训练算法，在基础语言模型基础上再进行训练，从而得到有监督微调模型（SFT 模型）。SFT 模型具备了初步的任务完成能力，可以开放给用户使用，很多类 ChatGPT的模型都属于该类型，包括：Alpaca[4]、Vicuna[5]、MOSS、ChatGLM-6B 等。可以看到，示例中文本表达都较为流畅，
大模型（LLMs）算法工程师的面试题_大模型开发工程师 面试问题(1)
2401_84184567的博客
04-27 955
这里获取](https://bbs.csdn.net/topics/618545628)**
大模型LLM相关面试题整理-训练集-训练经验-微调
weixin_36378508的博客
10-17 3227
综上所述，全参数微调所需的显存量取决于模型的大小、批量大小、训练数据的维度以及训练设备的显存限制。在进行全参数微调之前，建议先评估所需的显存量，并确保训练设备具备足够的显存来支持训练过程。13b的占用大约50G内存，在64G内存上，i9 12900h运行缓慢7b的占用约26G内存，在64G内存上，i9 12900h运行、响应速度还可以，全参数finetune至少需要4倍的数据。
10个大型语言模型(LLM)常见面试问题和答案解析
deephub
04-11 4946
今天我们来总结以下大型语言模型面试中常问的问题。
19年末从外包辞职,10000小时后,进字节跳动拿offer
m0_63098959的博客
10-29 345
【一线大厂Java面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】 浏览器打开：qq.cn.hn/FTf 免费领取 Innodb，B+树，聚簇索引和非聚簇索引区别 一千万条数据，问 b+树大概多高？ 为什么用b+树而不是 b树，红黑树？ 在设计联合索引时需要注意什么？ 联合索引最左原则的底层原理 mysql 的 MVCC 以及是否解决幻读？ 手写sql，实现一个按时间降序的分页查询 redo log，bin log，undo log Kafka： ...
搞定秋招！3W字LLM高频面试题汇总：大模型手撕CUDA
最新发布
weixin_59191169的博客
09-14 925
相关kernel如下。也就是不到1000行代码，建议背下来，我个人是喜欢背记，背的过程中基本就慢慢理解所有细节。当然，每个人的学习方法都不一样哈，自己觉得舒服就行。题内话，大模型相关的岗位，手撕CUDA的概率非常大，leetcode反而写的少，就前段时间个人的经验，基本是4:1的比例，还是建议好好复习下CUDA。当然，这些只是最简单的kernel实现，比如flash_attn，FMHA这些优化手段，就不在这篇文章里写了，面试中基本都会问到。
最近 11 个大型语言模型 (LLM) 面试问题（已解答）
iCloudEnd的博客
05-15 126
最近 11 个大型语言模型 (LLM) 面试问题（已解答）供您下次 ML 和 LLM 面试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiaoli8748_软件开发

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值