- 博客(13)
- 收藏
- 关注
RSS订阅原创 书生·浦语大模型实战营汇总
书生·浦语大模型实战营第一课：书生·浦语大模型全链路开源体系 视频， 笔记第二课：浦语大模型趣味 Demo 视频，文档，笔记，作业第三课：基于 InternLM 和 LangChain 搭建你的知识库 视频，文档，笔记，作业第四课：XTuner 大模型单卡低成本微调实战 视频1，视频2，文档，笔记，作业第五课：LMDeploy 大模型量化部署实践 视频，文档，笔记，作业第六课：LMDeploy 大模型量化部署实践 视频，文档，笔记，作业
2024-01-30 17:59:38
483
1
原创 笔记--OpenCompass 大模型评测
LLM以及AIGC有非常多的场景和各种各样的模型对于这些不同的模型需要建立—个统一的评测方式进行评测。模型评测会涉及以下三个问题：目前常见的任务场景：text-to-text，text-to-task，text-to-image，text-to-video，text-to-3D对不同的用户群体都有评测的需求，评测作用：明智模型边界，指导模型提升评测什么，不同任务评测指标不同，总结如下图：两类不同的模型：基座模型prompt+额外的instruct,对话模型：直接采用跟人类对话的方式来进行评测。
2024-01-23 22:57:39
502
1
原创 笔记--LMDeploy 的量化和部署
静态推理性能 —固定batch,输入/输出token数量动态推理性能–真实对话，不定长的输入/输出可以看到LMDeploy 在静态推理和动态推理性能上都有非常大的提升量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。
2024-01-23 10:29:34
1470
1
原创 作业--XTuner 大模型单卡低成本微调实战
作业：在data目录下新建一个generate_data.py文件，运行该脚本即可生成数据集personal_assistant.json。然后微调后参数转换，并Merge模型参数。
2024-01-23 10:25:31
428
1
原创 笔记--XTuner大模型单卡低成本微调实战
直接加载 Adapter 模型对话，可以看到机器人的名字变成了 ‘Open Assistant’4 bit 量化加载,与直接加载 Adapter 模型对话效果差不多。注意最好还是多训练几个轮次，否则很可能因为训练不充分导致，输出错误。如微调前：机器人只知道自己是一个“AI Assistant”基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。数据集格式如下：之后，使用格式化数据集，使用划分训练集和测试集。
2024-01-23 10:19:47
1024
1
原创 作业--基于 InternLM 和 LangChain 搭建你的知识库.md
因此，我从阿里天池手机里中医文献问题生成数据集https://tianchi.aliyun.com/dataset/86895 ，中医文献问题生成数据集包括【黄帝内经翻译版】、【名医百科中医篇】、【中成药用药卷】、【慢性病养生保健科普知识】四个主要来源，共标注 13000对（问题、文档、答案），来源于3500篇文档，每篇文档由人工标注产生1～4对(问题, 答案)对。可以看到，在接入中医文献问答知识库后，答案明显更专业也更可信，同时对加入中医文献问答知识库后前未回答的问题有了明确的答案。
2024-01-23 01:26:38
669
1
原创 笔记--基于 InternLM 和 LangChain 搭建你的知识库
将完成这些功能抽象为向量数据库加载， 实例化自定义 LLM 与 Prompt Template，构建检索问答链 的功能代码并封装为一个返回构建的检索问答链对象的函数，使得可以第一时间调用该函数得到检索问答链对象，后续直接使用该对象进行问答对话，从而避免重复加载模型。创建download_hf.py 使用 huggingface 镜像下载开源词向量模型。最终经过端口映射后，在本地可以使用经过检索增强问答的InternLM模型。
2024-01-23 01:25:55
526
1
原创 作业--浦语大模型趣味 Demo
具体参数请查看：https://huggingface.co/docs/huggingface_hub/main/en/package_reference/file_download#huggingface_hub.hf_hub_download。hf_hub_download 函数repo_id 是huggingface 仓库名称 filename是要下载的文件，repo_type选择为model cache_dir 为下载本地文件路径。
2024-01-23 01:18:01
357
原创 笔记--浦语大模型趣味 Demo
Lagent是一个轻量级、开源的基于大语言模型的智能体(agent)框架，用户可以快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。上海人工智能实验室 拥有lnternLM模型全链条开源体系，可以帮助初学者方便快捷地部署自己的大模型。2.设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。首先介绍什么是大模型，关键点是参数数量巨大、拥有庞大计算能力，参数规模大的人工智能模型。模型，等待模型加载完毕后，输入数学问题 " 已知。
2024-01-23 01:16:21
355
原创 大模型实战营笔记：第一课：书生·浦语大模型全链路开源体系
大模型是指具有大规模参数和复杂计算结构的机器学习模型，设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。即便如此，20B大模型依旧能在综合考试、知识问答、阅读理解、推理、编程等任务达到先进水平，全面领先相近量级的开源模型，以不足三分之一的参数量，达到Llama2-70B水平。但是需要注意的是，模型从开发到部署依旧存在很大的鸿沟。因此，书生·浦语打造了从数据到预训练再到下游微调再到模型的部署、评测和应用的全链条开源开放体系，并在各个环节打造了相应的工具。
2024-01-09 21:42:39
506
原创 2021-11-02
张量维度变换后，size重构报错 构建神经网络训练时，张量维度变换和size重构是常用的方法，但当它们一起使用时可能会因为数据不连续导致报错。RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). 首先复现一下报错情况：In [81]:a = torch.randn(
2021-11-03 00:00:06
672
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人