weixin_38482826的博客

原创 第六课笔记：大模型评测教程

一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。# 解压评测数据集到 data/ 处。

原创 第五课笔记：LMDeploy 的量化和部署实践

原创 第四课笔记：XTuner 大模型单卡低成本微调实战

增强预训练：基座模型学到新知识指令跟随微调：instructed LLM，对话模板LoRA：减少显存开销，在原本的Linear旁增加一个分支AdapterQLoRA：粗略加载模型，在GPU和CPU间调度。

原创 第三课笔记：基于 InternLM 和 LangChain 搭建你的知识库

基于本地部署的 InternLM，继承 LangChain 的 LLM 类自定义一个 InternLM LLM 子类，从而实现将 InternLM 接入到 LangChain 框架中。调用 LangChain 提供的检索问答链构造函数，基于我们的自定义 LLM、Prompt Template 和向量知识库来构建一个基于 InternLM 的检索问答链。得到所有目标文件路径之后，我们可以使用 LangChain 提供的 FileLoader 对象来加载目标文件，得到由目标文件解析出的纯文本内容。

原创 第二课笔记：书生.浦语大模型趣味Demo

在数千个GPU上进行预训练，在单个GPU上进行微调，拥有70亿参数的基础模型和一个为实际场景量身定做的对话模型。数万亿的高质量token进行训练，建立强大的知识库，支持8k token 的上下文窗口长度，增强推理能力。一、InternLM-Chat-7B 智能对话Demo。二、Lagent 智能体工具调用 Demo。