- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 书生实战营第三期进阶岛第三关任务
4.W4A16 量化+ KV cache+KV cache 量化。2.设置在线 kv cache int4/int8 量化，1.设置kv cache，观察显存。3.W4A16 模型量化和部署。
2024-08-21 21:52:21
200
原创 书生实战营第三期基础岛第五关任务
Tutorial/docs/L1/XTuner at camp3 · InternLM/Tutorial (github.com)
2024-08-09 23:45:57
148
原创 书生实战营第三期基础岛第四关任务
Tutorial/docs/L1/LlamaIndex/task.md at camp3 · InternLM/Tutorial (github.com)
2024-08-09 16:21:33
348
原创 第七课课程笔记 OpenCompass大模型评测
根据模型的类别，然后设定不同的评测方法。根据评测方式，划分为客观评测和主观评测。OpenCompass评测流水线。
2024-04-21 15:18:20
458
1
原创 第六课作业 Lagent＆AgentLego基础和进阶作业
3.使用自定义的天气API，和风天气，插件选择weather query。2、Lagent Web demo使用arxiv成功。1、直接使用成功，输出物体类别和坐标，输出识别结果图。2、作为智能体工具使用。
2024-04-19 16:13:23
220
原创 第四课作业 XTuner微调小助手+多模态llava
7.webdemo部署成功，明显过拟合，只会说一句话。显存占用4720/8182MB，表明推理需要4GB左右。2.微调模型，使用了deepseed_zero2加速，训练完成，约30分钟，占用显存16620MB。3.训练中，耗时较长约一小时，训练log基本沿用了mmdet的格式，都用的。通过QLORA训练出Adapter模型，整合为完整模型并应用于垂类任务。2.数据集、前期准备完成，配置文件修改完成。4.训练完成、HF.bin格式转换完成。5.模型整合成功，过程需要大概五分钟。1.环境完成，配置文件完成。
2024-04-18 12:36:32
941
1
原创 第四课课程笔记 XTuner 微调 LLM：1.8B、多模态、Agent
为什么要微调？提升基座模型在特定领域内的性能两种finetune范式增量预训练指令跟随微调。训练数据为高质量对话。没有经过指令微调的模型，不一定会对话一条数据的一生user/input部分为数据输入，bot/output为数据输出标签不同厂家有不同的对话模板未来让模型知道什么时候开始，什么时候结束System、User、Assistant三种角色微调方案。Xtuner用两种LORA、QLORA训练出新增支路adapter，减少显存开销。
2024-04-18 12:35:42
477
3
原创 第五课课程笔记 LMDeploy 量化部署 LLM-VLM 实践
是涵盖LLM任务的全套轻量化、部署和服务的解决方案三大核心功能模型高效推理。模型量化压缩服务化部署性能表现优异，有突出优势支持语言模型，也支持多模态大模型，视觉任务，可以使用pipeline便捷运行。
2024-04-11 16:48:58
343
原创 第三课课程作业 茴香豆
5.还挺厉害的，不局限于文档，有自己的理解。2.设置反例拒答成功，显示irrelevant answer。4.发现存在预先设置的拒答问题。3.运行助手，回答提问。1.上传两个文件成功。2.配置文件修改完成。
2024-04-08 14:55:07
216
原创 第三课 茴香豆：搭建你的 RAG 智能助理 课程笔记
可以理解为额外接在LLM上的搜索引擎不需要训练过程，成本很低茴香豆是一个基于LLMs的领域知识助手，开源地址即时通讯工具中自动化问答、技术支持RAG技术构建数据库，支持常用文件格式前端。微信群、飞书群，discord、skpye后端。本地模型InternLM、Qwen；远端KIMI、ChatGPT、Deepseek、ChatGLM；api。公租流中有拒答模块工作流多来源检索混合大模型多重评分拒答工作流安全检查。
2024-04-08 14:53:25
523
原创 浦语书生趣味demo-第二节课作业
3.实战：使用 Lagent 运行 InternLM2-Chat-7B 模型。尝试了一下解方程，发现有情况会发生错误。4.实战：实践部署 浦语·灵笔2 模型。
2024-04-02 17:24:43
599
1
原创 书生浦语大模型全链路开源体系-课程笔记
书生浦语大模型实战训练营第二期第一课，课程笔记。课程讲座视频链接https://www.bilibili.com/video/BV1Vx421X72D/?spm_id_from=333.999.0.0
2024-03-31 17:29:17
1726
1
单层厂房ifc模型
2019-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人