- 博客(6)
- 收藏
- 关注
RSS订阅原创 书生·浦语大模型实战营笔记 06
模型的类型众多（text-to-text, text-to-task, text-to-image, text-to-video, text-to-3D）,需要有一个相对客观公平统一的框架来判断其生成质量。使用不同的 Prompt，提问同一个问题，观察回答是否一致，以此检验模型对 Prompt 的敏感性，也即模型问答的鲁棒性。大模型可以分为基座模型和对话模型（经过指令微调的模型）- 6大维度，100+评测集，50万+评测题目。- 基于大模型的大模型评测。- 如何评测大语言模型。- 适配任意形式的模型。
2024-02-19 11:17:06
476
1
原创 书生·浦语大模型实战营笔记 05
LMDeploy是 LLM 在 Nvidia 设备上部署的全流程解决方案。包括轻量化、推理和服务。- 核心功能：- 量化，Weight 和 KV Cache- 推理引擎- 服务- 量化- 基本概念- 计算密集（compute-bound）推理的绝大部分时间消耗在数值计算上；针对计算密集场景，可以通过更快的硬件计算单元来提升计算速度，比如量化为 W8A8 使用 INT8 Tensor Core 来加速计算。- 访存密集（memory-bound）
2024-02-18 14:56:20
725
1
原创 书生·浦语大模型实战营笔记 04
不同于增量预训练微调，数据中会有 Input 和 Output，希望模型学会的是答案（Output），而不是问题（Input），训练时指挥对答案（Output）部分计算 Loss。启动对话——（System）——User输入——（添加对话模板）——Assistant回复（包含对话模板）——（显示没有对话模板的回答）——回答。- LoRA 通过在原本的 Linear 旁，新增一个支路，包含两个连续的小 Linear，新增的这个支路通常叫做 Adapter。
2024-02-16 15:27:03
654
1
原创 书生·浦语大模型实战营笔记 03
LangChain 提供了检索问答链模板，可以自动实现知识检索、Prompt 嵌入、LLM 问答的全部流程。- 可以将 InternLM 部署在本地，并封装一个自定义 LLM 类，调用本地 InternLM 即可。选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在。- 可以使用多种支持语义检索的向量数据库，一般使用轻量级的 Chroma。- 使用向量数据库来支持语义检索，需要将文档向量化存入向量数据库。- 基于语义进行分割，保证每一个 chunk 的语义完整。
2024-02-13 12:56:09
628
1
原创 书生·浦语大模型实战营笔记 02
InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现了卓越的性能优化。在1024个GPU上训练时，InternLM可以实现近90%的加速效率。Lagent是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。通过Lagent框架可以更好的发挥InternLM的全部性能。
2024-02-12 13:58:00
1080
2
原创 书生·浦语大模型实战营笔记 01
6. 应用：Lagent（框架）（支持 ReAct、ReWoo、AutoGPT），AgentLego（多模态智能体工具箱）（支持主流智能体系统：LangChain, Transformers Agent）- 模型选型（评测）——>业务场景是否复杂——>算力足够吗——>续训/全参数微调——>是否需要环境交互——>构建智能体——>模型评测——>模型部署。3. 微调：XTuner（增量预训练、指令微调、工具类指令微调；turbomind)1. 数据：书生·万卷（2T）/OpenDataLab（80T，工具）
2024-02-09 16:37:35
350
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人