![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
InternLM学习
文章平均质量分 79
G_Sheep
这个作者很懒,什么都没留下…
展开
-
OpenCompass 大模型评测实战——作业
建议这边直接用 这个命令, 我使用的时候是运行成功了,但后面依然出现了对应包没有的问题。这边就出现了 和 这两个包没有的情况,那就 pip install 装上。实在受不了了,运行了几次,每次都缺包,果断 。再次运行,没有出现缺包的情况,不过也是出现了和教程上说过的问题。先按照教程的做法设置 。但运行发现还是报同样的错误,那就换第二种方法 。这次运行以后没有再出现 的问题了,不过出现了新的问题。出现这个问题是因为缺少 这个包,再 ,然后再次运行。这次终于成功,安心等待结果。想截出来完整的图片,原创 2024-04-24 23:04:35 · 709 阅读 · 4 评论 -
OpenCompass 大模型评测实战——笔记
海量语料不可避免带来评测集污染,比如有的模型,它是在测试集上做的训练,这就会导致后面测试分数虚高,但他们也不公布自己训练的数据集,所以别人就不知道,或者测试集和训练集有大量重叠部分,也相当于作弊或者自欺欺人,所以亟需可靠的数据污染检测技术,那如何设计可动态更新的高质量评测基准,也是个问题。既然要评测,那就是要尽可能在一个相对准备充足的条件下对模型进行评测,但很多时候,因为提问者的问题提问的不够清楚,导致模型的回答也相对较差,那这就体现不出模型的能力,所以肯定是要在能体现模型能力的基础上再进行评测。原创 2024-04-24 23:04:09 · 1197 阅读 · 0 评论 -
Lagent & AgentLego 智能体应用搭建——作业
首先查询了上海市浦东新区的天气,同时对比了当时手机上的天气,可以看得出来,结果还是非常准确的。查询美国的天气也能及时准确地回复。下面我想测试下,当输入的查询城市名字不对时,会作出如何回复。这个地方是非常出乎意料的,我故意打打反了英国的名称,阿拉斯加也少了一个字,但依然能迅速准确地回答。只有当我问出足够离谱的城市天气时,才会识别错误,这个界限其实就很模糊,因为我个人觉得打错城市名字应该已经算不能识别的城市了,只能说可能确实有的人会喜欢这样的效果。这段代码主要是定义了一个名为的类,这个类继承自。原创 2024-04-24 15:15:16 · 990 阅读 · 0 评论 -
Lagent & AgentLego 智能体应用搭建——笔记
主要因为随着大语言模型的快速发展,即使如 GPT-4 这样的大模型,在某些场景下也会出现不能满足实际需求的情况,有诸多的局限性。Lagent 是一个轻量级开源智能体框架,旨在让用户可以高效地构建基于大语言模型的智能体。它支持多种智能体范式,如 AutoGPT、ReWoo、ReAct。同时,它也支持多种工具 ,如谷歌搜索、Python解释器等。下图为 Lagent 的基本流程。原创 2024-04-24 15:14:34 · 1076 阅读 · 0 评论 -
LMDeploy 量化部署 LLM-VLM 实践——作业
出人意料的是,用中文拼英提问,得到的回答还可以,虽然不如前两次提问时回答的详细,但这次能肯定的回答这是只老虎,还是比直接用中文好上不少的。好一个 ☞ 🐅 → 🦅 ,虽然在括号里有说明这可能是一只老虎,但全篇回答以老鹰描述还是架不住,只能说 Llava 模型对中文的支持性还是比较低。可以看到,LMDeploy 的推理速度是 Transformer库 的 6.74 倍!这个地方,按理来说,显存占用应该会降低很多的,但不知道为什么我运行下来以后提升只有一点点。可以看到,这里的英文回答对图片的分析还是比较清楚的。原创 2024-04-22 18:46:41 · 833 阅读 · 0 评论 -
LMDeploy 量化部署 LLM-VLM 实践——笔记
在人工智能领域,模型部署是实现深度学习算法落地应用的关键步骤。简单来说,模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发,是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。高效的推理LMDeploy 开发了 Continuous Batch,Blocked K/V Cache,动态拆分和融合,张量并行,高效的计算 kernel 等重要特性。原创 2024-04-22 16:04:39 · 1089 阅读 · 0 评论 -
XTuner 微调 LLM:1.8B、多模态、Agent——作业
XTuner 微调 LLM:1.8B、多模态、Agent——作业一、基础作业1.1、训练自己的小助手认知1.1.1、环境安装1.1.2、数据集准备1.1.3、模型准备1.1.4、配置文件选择1.1.5、常规训练1.1.6、加速训练1.1.7、模型转换1.1.8、模型结合1.1.9、对话测试1.1.10、 Web demo 部署二、进阶作业2.1、将自我认知的模型上传到 OpenXLab,并将应用部署到 OpenXLab2.1.1、 克隆空仓库:2.1.2、使用 git lfs track 标记文件2.1.3原创 2024-04-21 17:03:37 · 965 阅读 · 1 评论 -
XTuner 微调 LLM:1.8B、多模态、Agent——笔记
LLM的下游应用中,增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识,如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板,根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到,增量预训练更多的只是将某种知识喂给模型,让模型学会这个知识,但怎么用,模型此时还是不知道的。然后,指令跟随微调就会训练模型,让模型学会对话模板,当想它问出问题的时候,模型就会运用自己的知识来解答。原创 2024-04-16 17:48:32 · 1174 阅读 · 0 评论 -
【茴香豆:搭建你的 RAG 智能助理——作业】
综上所述,茴香豆 Web 版已经是一个相对成熟的工具了,在提供给大量文件输入知识向量库后,只要提问者提问相关问题,小助手是能够快速并且精确地给出回答的,很适合从业者或者学生,是一个很便利的 “搜索引擎”。但缺点也不少,面对不相关问题时,小助手会出现胡乱回答的情况。从上文的实验,个人理解是,面对一个问题时,不是将一个句子看作一个整体,而是将一个句子拆分出若干内容,然后这每一部分再去匹配向量库,最后各个部分的回答结合在一起给出最终答复,即使出现不相关的内容,也要跳脱向量库强行给予回答。原创 2024-04-14 22:02:05 · 682 阅读 · 1 评论 -
【茴香豆:搭建你的 RAG 智能助理——笔记】
RAG ( Retrieval Augmented Generation ) 是一种结合了检索 ( Retrieval ) 和生成( Generation ) 的技术,旨在通过利用外部知识库来增强大型语言模型( LLMs ) 的性能。它通过检索与用户输入相关的信息片段,并结合这些信息来生成更准确、更丰富的回答。原创 2024-04-14 16:44:40 · 729 阅读 · 1 评论 -
轻松玩转书生·浦语大模型趣味 Demo 笔记及作业
中间,我插入了新的图片让模型分析,两张图片完全不相关,但显然模型搞混了,它结合了第一张图片的角色和第二张图片的背景,给出了一个缝合的答案 “这张图片是两个卡通角色,它们似乎在夜空中进行冒险。问它角色的名字,然后上来先回答理解错误,想了想,可能是开始我只让它分析图片,然后后面我又问角色名字,它以为这是我一开始就想让它分析做的事,但它在开始的回答中没有说出来,所以抱歉。不知道是不是我在生成的过程中添加了一张不相关的图片素材,导致插入的第一张图片也奇奇怪怪的,和主题没关系,但后面插入的图片又是正常的。原创 2024-04-08 20:27:04 · 800 阅读 · 0 评论 -
【书生·浦语大模型视频学习笔记 及 InternLM 2 技术解读报告】
2024年1月17日,InrernLM 2 开源。原创 2024-03-29 12:47:00 · 1815 阅读 · 1 评论 -
【书生 · 浦语大模型】实战营合集
书生 · 浦语大模型全链路开源体系轻松玩转书生·浦语大模型趣味 Demo 笔记轻松玩转书生 · 浦语大模型趣味 Demo 作业基于 InternLM 和 LangChain 搭建你的知识库——笔记基于 InternLM 和 LangChain 搭建你的知识库——作业XTuner 大模型单卡低成本微调实战——笔记XTuner 大模型单卡低成本微调实战——作业LMDeploy 大模型量化部署实践——笔记LMDeploy 大模型量化部署实践——作业OpenCompass 大模型评测——笔记OpenCompass原创 2024-01-29 12:23:31 · 327 阅读 · 0 评论 -
XTuner 大模型单卡低成本微调实战——作业
构建数据集,使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手。原创 2024-01-26 14:56:35 · 228 阅读 · 1 评论 -
XTuner 大模型单卡低成本微调实战——笔记
一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例基于 InternLM-chat-7B 模型,用 MedQA 数据集进行微调,将其往医学问答领域对齐。此时,我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集,即几个.jsonL,也传到服务器上。MSAgent 数据集每条样本包含一个对话列表(conversations),其里面包含了 system、user、assistant 三种字段。原创 2024-01-26 13:12:29 · 1006 阅读 · 1 评论 -
OpenCompass 大模型评测——作业
使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能。原创 2024-01-26 01:29:03 · 235 阅读 · 1 评论 -
【OpenCompass 大模型评测——笔记】
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型:一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型(如OpenAI的GPT-3,Meta的LLaMA),往往具有强大的文字续写能力。对话模型:一般是在的基座模型的基础上,经过指令微调或人类偏好对齐获得的模型(如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语),能理解人类指令,具有较强的对话能力。原创 2024-01-26 01:26:36 · 2607 阅读 · 1 评论 -
LMDeploy 大模型量化部署实践——作业
LMDeploy 大模型量化部署实践——作业一、基础作业二、进阶作业一、基础作业二、进阶作业原创 2024-01-25 22:13:10 · 268 阅读 · 0 评论 -
【LMDeploy 大模型量化部署实践——笔记】
详细教学讲解视频,请看。原创 2024-01-25 22:06:22 · 983 阅读 · 0 评论 -
基于 InternLM 和 LangChain 搭建你的知识库——作业
基于 InternLM 和 LangChain 搭建你的知识库——作业原创 2024-01-14 02:00:08 · 416 阅读 · 1 评论 -
基于 InternLM 和 LangChain 搭建你的知识库——笔记
llm.predict("你是谁")构建检索问答链,还需要构建一个 Prompt Template,该 Template 其实基于一个带变量的字符串,在检索之后,LangChain 会将检索到的相关文档片段填入到 Template 的变量中,从而实现带知识的 Prompt 构建。# 我们所构造的 Prompt 模板template = """使用以下上下文来回答用户的问题。如果你不知道答案,就说你不知道。总是使用中文回答。问题: {question}可参考的上下文:···{context}原创 2024-01-14 01:56:45 · 903 阅读 · 1 评论 -
轻松玩转书生 · 浦语大模型趣味 Demo 作业
智商感人~原创 2024-01-09 14:43:14 · 473 阅读 · 0 评论 -
轻松玩转书生·浦语大模型趣味 Demo 笔记
大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练,并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能,比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构,如 Transformer、BERT、GPT( Generative Pre-trained Transformer )等。原创 2024-01-09 03:15:40 · 2048 阅读 · 0 评论 -
【书生浦语大模型全链路开源体系】
不能总放着这些缺点不管,科学家有了思路,让大模型去驱动一个智能体,或者更复杂的应用来满足这些需求。通常,会搭建一个包含不同模块的智能体框架,以大语言模型作为核心来进行规划、推理、执行。近几年来,随着人工智能行业的不断发展,大模型、大语言模型的发展火箭般的速度飞速更新迭代,从最早的GPT,到ChatGPT,再到LLaMA、GPT-4等等。要是真这么觉得,年轻人,还是见识少了~ 亮个相吧,小宝贝!是的,不要4090,不要A100,只需 8GB!自然,大模型的发展也就以一种不可阻挡之势,持续进击!原创 2024-01-07 15:52:11 · 1021 阅读 · 3 评论