![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型学习
文章平均质量分 61
到di有冇
这个作者很懒,什么都没留下…
展开
-
书生浦语大模型学习笔记二
大模型概念:人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。特点及应用1. 利用大量数据进行训练2. 拥有数十亿甚至数千亿个参数3. 模型在各种任务中展现出惊人的性能InternLM 是一个开源的轻量级训练框架,旨在支持大模型训练而无需大量的依赖。基于InternLM训练框架,上海人工智能实验室已经发布了两个开源的预训练模型:和。Lagent是一个轻量级、开源的基于大语言模型的智能体 (agent) 框架,用户可以快速地将一个大语言模型转变为多种类型的智能体。原创 2024-01-07 17:24:03 · 401 阅读 · 1 评论 -
XTuner 大模型低成本微调操作笔记
挑战在于使用自己的数据集。原创 2024-01-24 18:11:32 · 516 阅读 · 0 评论 -
OpenCompass 大模型评测笔记
github文档地址:https://github.com/InternLM/tutorial/blob/main/opencompass/opencompass_tutorial.md。视频地址:https://www.bilibili.com/video/BV1Gg4y1U7uc/换提示词若模型答错,则说明模型鲁棒性较差。也可以自定义数据集进行测试。原创 2024-01-23 16:25:39 · 421 阅读 · 1 评论 -
LMDeploy 大模型量化部署实践笔记
有请求就加入空槽位,推理结束就释放,动态进行。原创 2024-01-15 20:58:55 · 430 阅读 · 1 评论 -
XTuner 大模型单卡低成本微调实战笔记
大语言模型是在海量的文本内容基础上,以无监督或半监督方式进行训练的,海量的文本内容赋予了大模型各种各样的行业知识,但是如果直接把大模型的知识用于生产实践,会发现回答不大满意,微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。常用微调模式:增量预训练和指令跟随增量预训练:给模型投喂一些新的知识,新知识是目标领域的文本内容,经过新知识学习,模型即可获得该领域更好的效果。使用场景: 让基座模型学习到一些新知识,如某个垂类领域的常识训练数据:文章、书籍、代码等指令跟随微调。原创 2024-01-11 21:13:47 · 967 阅读 · 1 评论 -
第三次笔记:基于 InternLM 和 LangChain 搭建知识库
课程地址:https://www.bilibili.com/video/BV1sT4y1p71V。原创 2024-01-10 11:35:31 · 911 阅读 · 1 评论 -
书生·浦语大模型全链路开源体系学习笔记
大模型持续走热,原因:大模型是发展通用人工智能的重要途径书生浦语开源历程书生浦语大模型系列书生浦语20B领先相近量级开源模型(包括Llama-33BLlama2-13B以及国内主流的7B、13B开源模型),并以不足三分之一的参数量,达到Llama2-70B水平。原创 2024-01-04 12:57:41 · 827 阅读 · 1 评论