大语言模型
文章平均质量分 94
胡争辉
退休
展开
-
《书生·浦语大模型实战营》结业后练习:通过QLoRA的方式用Alpaca数据集对InternLM2-Chat-7B进行微调
《书生·浦语大模型实战营》荣获优秀学员第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》第七节课《OpenCompass 大模型评测实战》本文是通过QLoRA的方式用Alpaca数据集对InternLM2-Chat-7B微调原创 2024-05-17 23:18:55 · 1019 阅读 · 1 评论 -
《书生·浦语大模型实战营》结业后练习:微调
2024年3月开始参加《书生·浦语大模型实战营》已顺利结业本文是结业后练习,内容为XTuner 微调 LLM:1.8B第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》第七节课《OpenCompass 大模型评测实战》原创 2024-05-13 17:41:13 · 913 阅读 · 1 评论 -
《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》这是《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》实践笔记原创 2024-04-25 23:55:43 · 958 阅读 · 0 评论 -
《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》这是《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》课程笔记原创 2024-04-25 23:42:44 · 1125 阅读 · 0 评论 -
《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》这是《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》实践笔记`Lagent` :轻量级智能体框架`AgentLego` :组装智能体“乐高”原创 2024-04-23 07:23:28 · 837 阅读 · 0 评论 -
《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》这是第六节课《Lagent & AgentLego 智能体应用搭建》课程笔记`Lagent` :轻量级智能体框架`AgentLego` :组装智能体“乐高”原创 2024-04-23 06:52:26 · 896 阅读 · 0 评论 -
《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》这是《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》实践笔记配置 `lmdeploy` 运行环境以命令行方式与 `InternLM2-Chat-1.8B` 模型对话设置 `KV Cache` 最大占用比例为 `0.4` ,开启 `W4A16` 量化,以命令行方式与模型对话以 `API Server` 方式启动 `lmdeploy` ,开启 `W4A16` 量化,调整 `KV Cache` 的占用比例为 `0.4`原创 2024-04-15 17:28:51 · 637 阅读 · 0 评论 -
《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》这是《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》课程笔记- 大模型部署背景- 大模型部署方法- `LMDeploy` 简介- 动手实践环节- 在人工智能领域,模型部署是实现深度学习算法落地应用的关键步骤。简单来说,模型部署就是将训练好的深度学习模型在特定环境中运行的过程。最终模型都是要服务于实际业务场景的,这就牵扯到需要把模型部署到服务器,或者是移动端、边缘端。原创 2024-04-15 16:48:23 · 889 阅读 · 0 评论 -
《书生·浦语大模型实战营》第三节课《茴香豆:搭建你的 RAG 智能助理》实践笔记
`RAG` ( `Retrieval Augmented Generation` ) 是一种结合了检索( `Retrieval` ) 和生成 ( `Generation` ) 的技术,旨在通过利用**外部知识库**来增强大型语言模型 ( `LLMs` ) 的性能。它通过检索与用户输入相关的信息片段,并结合这些信息来生成更准确、更丰富的回答。通俗的讲,可以将 `RAG` 理解为一个搜索引擎,将用户输入的内容作为索引,在外部知识库中搜寻相关的内容,结合大语言模型的能力生成回答。原创 2024-04-12 20:21:50 · 755 阅读 · 0 评论 -
《书生·浦语大模型实战营》第三节课《茴香豆:搭建你的 RAG 智能助理》课程笔记
RAG) 是一种结合了检索(Retrieval) 和生成 (Generation) 的技术,旨在通过利用外部知识库来增强大型语言模型 (LLMs) 的性能。它通过检索与用户输入相关的信息片段,并结合这些信息来生成更准确、更丰富的回答。通俗的讲,可以将RAG理解为一个搜索引擎,将用户输入的内容作为索引,在外部知识库中搜寻相关的内容,结合大语言模型的能力生成回答。在这一部分中介绍了RAG的基本概念、原理、流程和发展过程中出现的三种范式,以及RAG的一些常用优化方法和与微调) 的比较。原创 2024-04-12 19:24:06 · 1030 阅读 · 0 评论 -
《书生·浦语大模型实战营》第二节课《轻松玩转书生·浦语大模型趣味 Demo》实践笔记
`InternLM2` 针对不同的使用需求,每个规格包含三个模型版本。按规格分类,有 `7B` 和 `20B` 两种模型;按使用需求分类,有 `InternLM2-Base`、 `InternLM2` 和 `InternLM2-Chat` 。 `InternLM2` 在超长上下文、综合性能、对话和创作体验、工具调用能力以及数理能力和数据分析功能等方面都有显著优势。其中,`InternLM2-Chat-20B` 在重点评测上甚至可以达到媲美 `ChatGPT` (`GPT-3.5`) 的水平。原创 2024-04-05 17:33:18 · 938 阅读 · 0 评论 -
《书生·浦语大模型实战营》第二节课《轻松玩转书生·浦语大模型趣味 Demo》课程笔记
`InternLM2` 针对不同的使用需求,每个规格包含三个模型版本。按规格分类,有 `7B` 和 `20B` 两种模型;按使用需求分类,有 `InternLM2-Base`、 `InternLM2` 和 `InternLM2-Chat` 。 `InternLM2` 在超长上下文、综合性能、对话和创作体验、工具调用能力以及数理能力和数据分析功能等方面都有显著优势。其中,`InternLM2-Chat-20B` 在重点评测上甚至可以达到媲美 `ChatGPT` (`GPT-3.5`) 的水平。原创 2024-04-05 17:20:53 · 794 阅读 · 0 评论 -
《书生·浦语大模型实战营》第1次学习笔记
2022年12月1日,`ChatGPT`发布,迅速发展,成为互联网历史上最快达到一亿用户的产品。我在互联网行业有二十多年的经验,看到`ChatGPT`的时候就仿佛小时候第一次接触计算机、1996年上大学后第一次接触互联网、2008年第一次购买`iPhone`一代手机。2023年,随着以`ChatGPT`为代表的AIGC(生成式AI,GenAI)的快速发展,就开始找资料,渐渐理解了这不同于以往的搜索引擎的大规模集群方案,而是把海量知识压缩到一个很小的模型中。最开始体验各种网上应用,然后看介绍资料,随着原创 2024-03-31 16:20:20 · 1545 阅读 · 0 评论 -
一个自动进化的程序原型————借助大语言模型LLM,将人类语言描述的程序要求生成代码,借助动态编译加载到程序中并执行获取结果
的部分增加灵活性,大语言模型可能会输出不同的结构,适合人类阅读,但是程序解析就需要多考虑。,因为弱类型语言动态加载很方便,但是容易panic。中解析的代码没有做语义分析,直接字符处理,主要是排除。中解析的代码需要语义分析,更准确的找到目标代码。为了后续解析,类名称和函数名称应当明确给出。输入参数也需要封装,并考虑各种类型的情况。封装提示词中的类名和函数名。调用大语言模型没有使用。原创 2024-01-25 15:18:21 · 562 阅读 · 1 评论