- 博客(10)
- 收藏
- 关注
原创 第六课基础作业展示
我输入了“请帮我搜索 InternLM2 Technical Report”让其帮我搜索书生浦语2的技术报告。在创建开发机界面选择镜像为 Cuda12.2-conda,并选择 GPU 为30% A100。在terminal输入,创建一个python文件。安装Lagent和AgentLego。
2024-04-24 21:30:37
184
原创 第六节课笔记
Lagent 是一个轻量级开源智能体框架,旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Lagent 目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式,也支持了如下工具:Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器2.AgentLego 是什么。
2024-04-24 21:25:05
713
原创 XTuner 微调 LLM作业与笔记
通过对比原模型的能力来看看差异,可以看到在没有进行我们数据的微调前,原模型是能够输出有逻辑的回复,并且也不会认为他是我们特有的小助手。因此我们可以很明显的看出两者之间的差异性。,转换完成后,可以看到模型被转换为 Huggingface 中常用的 .bin 格式文件,这就代表着文件成功被转化为 Huggingface 格式了。根据文档指示可以训练自己的小助手,训练结果如下。与模型进行对话测试,可以看到模型已经严重。和装文件按照步骤来就好了,直接到部署自己的小助手这里。
2024-04-24 21:16:12
207
原创 OpenCompass 大模型评测实战笔记
它从语言、知识、理解、推理、安全等多个能力维度进行评测,并采用客观评测与主观评测相结合的方法。该评测体系的主要特点包括开源可复现、全面的能力维度评估、丰富的模型支持、分布式高效评测、多样化的评测范式和灵活的拓展性。此外,OpenCompass提供了丰富的工具层支持,包括分布式评测技术、提示词工程、评测数据库对接、评测榜单发布和评测报告生成等功能。总的来说,OpenCompass是一个功能全面、使用灵活的大模型评测工具,对于研究人员和产品开发者来说,它提供了一个有效的平台来评估和选择适合的大型语言模型。
2024-04-24 12:37:46
267
原创 LMDeploy 量化部署
TurboMind与LMDeploy的关系:LMDeploy是涵盖了LLM 任务全套轻量化、部署和服务解决方案的集成功能包,TurboMind是LMDeploy的一个推理引擎,是一个子模块。因此,TurboMind在推理HF格式的模型时,会首先自动将HF格式模型转换为TurboMind格式的模型。TurboMind与TurboMind模型的关系:TurboMind是推理引擎的名字,TurboMind模型是一种模型存储格式,TurboMind引擎只能推理TurboMind格式的模型。
2024-04-24 12:07:22
804
原创 【无标题】书生浦语第三期作业与笔记
RAG(Retrieval Augmented Generation)是一种结合了检索(Retrieval)和生成(Generation)的技术,旨在通过利用外部知识库来增强大型语言模型(LLMs)的性能。它通过检索与用户输入相关的信息片段,并结合这些信息来生成更准确、更丰富的回答。可以帮助解决大语言模型的三个重大问题:生成幻觉(hallucination)、过时知识、缺乏透明和可追溯的推理过程应用在问答系统、文本生成、信息检索、图片描述等。
2024-04-14 14:45:32
1675
1
原创 书生·浦语大模型全链路开源体系
预训练-InternLM-Train:并行训练,极致优化,速度达到3600tokens/sec/gpu。评测-OpenCompass:全方位评测,性能可复现100套评测集,50万道题目。应用-Lagent、AgentLego:支持多种智能体,支持代码解释器等多种工具。lnternLM2(书生浦语大模型2)的体系:轻量级(7B) 中量级(20B)部署-LMDeploy:全链路部署,性能领先,每秒生成2000+ tokens。数据-书生万卷:2TB数据,涵盖多种模态与任务。开源体系的部署——LMDeploy。
2024-03-31 22:14:01
191
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人