书生浦语大模型实战营
文章平均质量分 55
睡觉爱数羊
这个作者很懒,什么都没留下…
展开
-
书生浦语大模型实战营笔记作业汇总
第一课:第二课:第三课:第四课:第五课:第六课:原创 2024-01-29 16:25:58 · 482 阅读 · 0 评论 -
Lagent调用mmdetection api
1.1 使用安装和1.2 安装mmdet。原创 2024-01-26 16:52:06 · 439 阅读 · 1 评论 -
书生浦语大模型实战营第四次课笔记
以数据集为例基于 InternLM-chat-7B 模型,用 MedQA 数据集进行微调,将其往医学问答领域对齐。原创 2024-01-14 15:01:24 · 1239 阅读 · 0 评论 -
书生浦语大模型实战营第六次课作业-OpenCompass大模型评测
使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能。原创 2024-01-22 21:05:46 · 571 阅读 · 0 评论 -
书生浦语大模型实战营第六次课笔记-OpenCompass大模型评测
2. 为什么需要评测3. 需要评测什么4. 如何评测大模型5. 主流大模型评测框架6. 大模型评测领域的挑战原创 2024-01-21 15:28:56 · 547 阅读 · 0 评论 -
书生浦语大模型实战营第五次课笔记-LMDeploy部署
这首诗有点奇怪....原创 2024-01-17 15:51:23 · 480 阅读 · 0 评论 -
书生浦语大模型实战营第五次课作业-LMDeploy部署
对internlm-chat-7b模型进行量化,并同时使用KV Cache量化,使用量化后的模型完成API服务的部署,分别对比模型量化前后和 KV Cache 量化前后的显存大小(将 bs设置为 1 和 max len 设置为512)遇到了一点小问题,原因是安装lmdeploy时,安装到了其他路径。可以看到使用W4A16量化后,显存明显下降。第二步:通过 minmax 获取量化参数。未打开KV Cache量化,GPU占用。差别不大,很奇怪,找了半天,没找出原因。打开KV Cache量化,GPU占用。原创 2024-01-17 15:50:27 · 448 阅读 · 0 评论 -
书生浦语大模型实战营第四次课作业-使用XTuner 微调 InternLM-Chat-7B 模型
书生浦语大模型实战营第四次课作业构建数据集,使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手,效果如下图所示,本作业训练出来的模型的输出需要替换成自己名字或昵称!原创 2024-01-14 14:58:15 · 523 阅读 · 0 评论 -
书生浦语大模型实战营第三次课作业
随便问了几个相关问题,大部分没啥问题,都可以从构建的数据库中检索出答案,但不太完善,其中有一些回答会出现乱码。(1)由于源码中不支持使用pdf文件构建数据库,因此需要做一些修改,添加对pdf文件的支持。(2)LangChain 相关环境配置,建议使用清华源,会快很多(pip最后添加。选择一个垂直领域,收集该领域的专业资料构建专业知识库,并搭建专业问答助手,并在。(1)由于开发机之前已经配置过conda环境和模型了,直接复制过来即可。从结果可以看出能成功从个人构建的数据库中检索出上下文,然后进行回答。原创 2024-01-11 18:19:24 · 428 阅读 · 0 评论 -
书生浦语大模型实战营第三次课笔记
简介:LangChain 是一套专为 LLM 开发打造的开源框架,实现了 LLM 多种强大能力的利用,提供了 Chain、Agent、Tool 等多种封装工具,基于 LangChain 可以便捷开发应用程序,极大化发挥 LLM 潜能。这次课程介绍了基于InternLM和Langchain去搭建个人知识库。1.LLM的局限性2.RAG vs FinetuneRAG指的是检索问答增强,Finetune是大模型微调3.基于Langchain搭建RAG应用的流程4.将个人数据转换原创 2024-01-11 16:31:03 · 503 阅读 · 1 评论