残星流影-CSDN博客

原创书生·浦语大模型实战营06课堂笔记

针对普通用户，评测的结果可以了解模型的特色能力和实际效果；针对开发者，评测的结果可以监控模型能力变化，知道优化模型生产；针对管理机构，依据评测的结果，可以整改大模型，减少大模型带来的社会风险；针对产业界，依据评测结果，可以找出最适合产业应用的模型，赋能真实场景。

2024-01-24 21:41:12 469 1

原创书生·浦语大模型实战营06课堂作业

使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能。

2024-01-24 20:48:55 458 1

对internlm-chat-7b模型进行量化，并同时使用KV Cache量化，使用量化后的模型完成API服务的部署，分别对比模型量化前后（将 bs设置为 1 和 max len 设置为512）和 KV Cache 量化前后（将 bs设置为 8 和 max len 设置为2048）的显存大小。（3）在（1）的基础上开启KV Cache量化。（4）在（2）的基础上开启KV Cache量化。（2）在（1）的基础上采用W4A16量化。（5）使用Huggingface推理。

2024-01-22 21:34:59 472

原创书生·浦语大模型实战营05课堂笔记

英伟达设备上部署的全流程解决方案，包括模型轻量化、推理和服务。其中接口包含：python、gRPC以及RESTful；轻量化策略包含：4bit权重及8bit k/v；推理引擎包含：turbomind及pytorch；服务层包含：api server、gradio及triton inference server。

2024-01-22 21:29:36 1065

原创书生·浦语大模型实战营04课堂作业

构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要替换成自己名字或昵称！本次将模型的输出改为yanglisha。

2024-01-14 19:33:21 445 1

原创书生·浦语大模型实战营04课堂笔记

一种是增量预训练：使用场景是让基座模型学习到一些新知识，如某个垂类领域的常识。其训练数据包括文章、书籍、代码等另一种是指令跟随，其使用场景是让模型学会对话模板，根据人类指令进行对话。训练数据为高质量对话、问答数据。①LORA全称：LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS；②LLM的参数量主要集中在模型的Linear，训练这些参数时会消耗大量的显存。

2024-01-14 16:10:09 1247 1

原创书生·浦语大模型实战营03课堂笔记

①传统LLM的知识时效性收限制，文本库不能实时更新，因此如何让LLM获取最新知识是重中之重；②传统LLM文本信息仅限用于通用环境中，针对特殊领域例如医疗、汽车等无法提供准确答复；③传统LLM的定制化成本极高，需要配置专用预料库。分为RAG（检索增强生成）和Finetune（微调）。其中RAG的核心思想是：给大模型外挂知识库，对于用户的提问，首先从知识库中匹配提问对应相关的文档，将文档和提问一起提交给大模型来生成回答，提升大模型的知识储备。

2024-01-13 18:19:56 1014 1

原创书生·浦语大模型实战营03课后作业

基于本地部署的 InternLM，继承 LangChain 的 LLM 类自定义一个 InternLM LLM 子类，从而实现将 InternLM 接入到 LangChain 框架中。LangChain 提供了多种文本分块工具，此处我们使用字符串递归分割器，并选择分块大小为 500，块重叠长度为 150。整合13构建检索问答链的代码后，定义一个类，该类负责加载并存储检索问答链，并响应 Web 界面里调用检索问答链进行回答的动作。5.创建目录，并且将InternLM模型复制到创建的目录中。

2024-01-13 09:55:05 903 1

原创书生浦语大模型实战课程02

1.使用 InternLM-Chat-7B 模型生成 300 字的小故事。第一步：使用 Hugging Face 官方提供工具进行下载。2.熟悉 hugging face 下载功能，使用。运行完成后，使用cat命令即可查看下载内容。的 config.json 文件到本地。1.完成浦语·灵笔的图文理解及创作部署。的 config.json 文件。在启动SSH服务后，在服务器中输入。python 包，下载。第二步：创建环境并激活环境。第二步：Lagent 安装。第五步：demo运行。

2024-01-07 22:39:24 381 2