大模型
文章平均质量分 68
大模型学习
森说
这个作者很懒,什么都没留下…
展开
-
第二节笔记及课后作业(在最后) -- 书生-浦语大模型demo体验
大模型,顾名思义就是指使用参数量巨大的模型,参数量为数十亿或百亿,可以使用一个模型完成多种任务,是实现通用人工智能的途径。InternLM是一个轻量级训练框架,自己也体验了一下,使用起来确实方便,不需要大量的依赖就可以开始训练了。我们在有了大模型之后,并不能将其直接在业务中应用起来,还要将其与环境结合训练出智能体,而Lagent就是实现这个功能的。本节一共要实现3个demo,这里注重实现,先看到效果,不会太注重原理,原理的知识要后面慢慢补。原创 2024-01-06 21:18:53 · 816 阅读 · 0 评论 -
第一节笔记 -- 书生-浦语大模型
书生-浦语从年初开始研发,到现在为止已经有了三种级别的模型。原创 2024-01-03 21:34:55 · 407 阅读 · 0 评论 -
第三节作业--demo实现过程
首先我们打开开发机接下来激活虚拟环境,先运行下面的命令,尤其是第一个命令,非常慢,多等一下。之后我们开始加载模型,运行下面的命令之后我们开始LangChain的环境,LangChain 是一个开发由语言模型驱动的应用程序的框架。接下来我们下载模型之后我们NLTK最后下载项目代码。原创 2024-01-10 22:01:39 · 372 阅读 · 0 评论 -
第三节笔记
LLM存在一些问题,如知识的时效性,专业性以及定制化成本很高。对此存在两种解决方案:对于前者相当于建立一个额外的知识库,在使用时将我们的额外知识库和用户的提问一起输入给大模型,好处是成本低,不用额外的训练,并且知识库可以进行实时更新,但是问题是受模型能力受限,而后者可以提升模型的能力,但是成本要高。并且无法实时更新。原创 2024-01-10 22:57:08 · 366 阅读 · 0 评论 -
XTuner 大模型单卡低成本微调实战笔记
这部分非常重要,因为以后如果我们想在自己的训练集上进行训练,就要使用这个内容。首先第一步的话就是准备数据集的格式,这里大佬是用GPT生成的,我的天呀,原来大佬也用gpt生成代码呀,但是的话,大佬好像比我强的是使用提示词,我代码不会写,可以使用提示词让gpt帮我写,就这么干了!上面的数据文件是表格形式的,我们要先将提问和回答提取出来,然后保存到josnl文件中去,学习一下提示词[{},}]这后吧文件复制过来。原创 2024-01-13 15:40:55 · 1809 阅读 · 1 评论 -
第4节作业
安装其他文件这个安装要花费很长时间。原创 2024-01-13 18:44:51 · 365 阅读 · 1 评论 -
第5节LMDeploy 大模型量化部署实践:笔记
我们先来介绍一下大模型的特点:首先就是参数量大,对于7B的模型,就需要14G以上的内存,并且由于是采用自回归的方式,所以这就需要去缓存之前的信息,这就会进一步增加消耗。而部署的定义就是将训练好的模型放在特定的环境(cpu,gpu,tpu,npu)接收输入,产生输出。这就要对模型进行优化,如模型压缩和硬化加速。从上面可以得出如何在低存储的设备上部署?如何提高token推理的速度?如何解决动态token的问题?如何提供系统吞吐量?对此现在有很多成熟的技术:低比特量化,模型并行等。原创 2024-01-14 15:10:17 · 1768 阅读 · 1 评论 -
第5节LMDeploy 大模型量化部署实践:作业
我们这里使用第4节的个人助手进行量化,我先找到其路径。原创 2024-01-14 17:13:17 · 427 阅读 · 1 评论 -
大模型项目:基于InternLM大模型的中医诊断助手
在大模型问答的时候是存在三个角色的:system,input,output,所以我们要将我们的数据转换一下,下面是目标格式[{},}]我们的数据有两个标签,一个是case可以理解为症状,另一个是diagnosis可以理解为诊断,那么对应上面的就是前者为input,后者为output,system就设置为阿森的私人医生。[{"system": "阿森的私人医生","input": "患者新冠感染后出现头痛,微热,小便不利等症状。随着病情的发展,患者逐渐出现烦渴欲饮,饮水即吐,咳嗽等症状。原创 2024-01-19 13:27:55 · 934 阅读 · 0 评论 -
第六节笔记与作业:OpenCompass 大模型评测
为什么大模型需要评测,要评测哪些内容,怎么评测呢?原创 2024-01-21 14:59:38 · 469 阅读 · 0 评论 -
合集。。。。
https://blog.csdn.net/m0_75085274/article/details/135372565?spm=1001.2014.3001.5501https://blog.csdn.net/m0_75085274/article/details/135425532?spm=1001.2014.3001.5502/https://blog.csdn.net/m0_75085274/article/details/135425532?spm=1001.2014.3001.5502https:原创 2024-01-30 21:57:40 · 318 阅读 · 1 评论