lengbaihang的博客

原创 第六节课笔记（2）

原创 第七节课 作业

原创 第七节课笔记

原创 第六节课笔记

原创 第六节课作业

进阶作业：

原创 第四节课作业

这里的认知小助手，我直接部署的是7b的模型（已申请项目，是本人）

原创 第四节课笔记

原创 第五节课笔记

原创 第五节课作业

原创 第三节课笔记与作业

您需要编写一个简单的服务器端脚本，用于接收飞书的消息，调用茴香豆助手的API获取回答，并将回答发送回飞书。：将茴香豆助手的接口接入到聊天软件中，需要编写服务器端脚本，用于接收聊天软件的消息，调用茴香豆助手的API获取回答，并将回答发送回聊天软件。：在茴香豆的检索流程中，会利用配置好的网络搜索API，根据用户的问题提取关键词，发送网络搜索请求，并获取相关搜索结果。：在飞书应用中设置机器人，用于接收和发送消息。：在配置文件中，用户可以设置网络搜索的范围，即指定搜索引擎检索的网站域名，以确保搜索结果的相关性。

原创 第二节课作业

原创 第二节课笔记

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

原创 书生浦语第二期第一节课笔记

5. **性能表现**：在综合考试、语言知识、推理、数学、编程、长上下文建模等任务上，InternLM2取得了领先成绩。2. **预训练数据**：该模型使用了超过2万亿高质量token的数据集进行预训练，数据来源于网页、书籍、论文、专利等，包括中文和英文内容。8. **开源发布**：不同规模的InternLM2模型以及训练过程中的不同阶段模型已开源发布，供社区分析和进一步研究使用。6. **数据准备**：提供了详细的预训练数据准备流程，包括文本、代码和长文本数据的处理，为训练语言模型提供了重要参考。

原创 进阶作业（选两个， 第二节和第五节）

kv量化并没有省很多显存，占用大约14758MB。4bit量化显存占用5792MB。原模型占用14886MB。

原创 第六节课作业

原创 第六节课笔记

产业界：找出最适合产业应用的模型，赋能真是场景。普通用户： 了解诶模型的特色能力和实际效果。开发者：监控模型能力变化，指导优化模型生产。管理机构：减少大模型带来的社会风险。OpenCompass能力框架。提示词工程：问题的不同问法。前沿探索MMBench。垂直领域 法律 医疗。

原创 第五节课作业

原创 第五节课笔记

部署方案：技术点 （模型并行 transformer计算和访存优化 低比特量化 Continuous Batch Page Attention）方案（云端 移动端）轻量化 推理引擎 服务（api server gradio triton inference server）持续批处理 有状态的推理 高性能cuda kernel Blocked k/v cache分块缓存。计算密集 访存密集（大模型一般是访存密集）无缝对接open compass。有状态的推理 推理测的缓存。分块的k/v缓存 历史缓存。

原创 第四节课笔记

原创 第四节课笔记

System：给定一些上下文信息，例如我们想微调一个安全的AI助手，那System就是“你是一个安全的AI助手”。Assistant：根据用户提问，结合System上下文信息，输出回答，在微调时将对话样本的回答赋予此角色。因为在对话中模型只是根据我们的提问去拟合训练数据集中的分布，它并没有意识你的意图是在向它提问。通过指令微调后，便可得到instructed LLM，可以输出我们更加相对满意的结果。User：用户提问，在微调时将对话样本的提问赋予此角色。FINETUNE简介。为什么需要指令微调？

原创 第三节课 作业

原创 第三节课笔记

首先加载各类格式本地文档->统一转化纯文本->分割成Chunk->准换为词向量存到Chroma数据库->将用户输入转化为同纬度向量->进行相似度对比->将相关文本段嵌入prompt->大模型回答。特点：对回答风格模拟特别好，对算力要求高。方式：模型外挂知识库提高大模型知识备。局限：单次回答有限总结性回答表现不佳。2.LangChain简介。5.Web Demo部署。

原创 第二节课作业

原创 第二节课笔记

定义：人工智能领域参数数量巨大、拥有庞大计算能力和参数规模的模型。特点和应用：大量数据训练、数十亿数千亿参数、各任务展现惊人性能。2.InternLM-Chat-7B智能对话Demo。3.Lagent智能体工具调用Demo。1.大模型及InternLM模型介绍。4.浦语灵笔图文创作理解Demo。

原创 第一节课笔记

这个视频介绍了书生普语大模型全链路开源体系：包括数据收集、预训练、微调、部署、评测和应用等全过程，提供了丰富的工具和框架。视频重点介绍了书生万卷多模态语料库、INTETRAIN预训练框架、x-tuna微调框架、Open Compass评测工具和M-Deploy推理框架等。此外，还介绍了智能体应用方面的工具箱和API接口。这个开源体系提供了全面的支持，使得大模型的开发和应用更加便捷和高效。- 0:01 🌍大模型热潮。