机器学习
文章平均质量分 91
胡争辉
退休
展开
-
《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》这是《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》实践笔记原创 2024-04-25 23:55:43 · 665 阅读 · 0 评论 -
《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》这是《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》课程笔记原创 2024-04-25 23:42:44 · 701 阅读 · 0 评论 -
《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》这是《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》实践笔记`Lagent` :轻量级智能体框架`AgentLego` :组装智能体“乐高”原创 2024-04-23 07:23:28 · 643 阅读 · 0 评论 -
《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》这是第六节课《Lagent & AgentLego 智能体应用搭建》课程笔记`Lagent` :轻量级智能体框架`AgentLego` :组装智能体“乐高”原创 2024-04-23 06:52:26 · 756 阅读 · 0 评论 -
《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》这是《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》实践笔记配置 `lmdeploy` 运行环境以命令行方式与 `InternLM2-Chat-1.8B` 模型对话设置 `KV Cache` 最大占用比例为 `0.4` ,开启 `W4A16` 量化,以命令行方式与模型对话以 `API Server` 方式启动 `lmdeploy` ,开启 `W4A16` 量化,调整 `KV Cache` 的占用比例为 `0.4`原创 2024-04-15 17:28:51 · 525 阅读 · 0 评论 -
《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》这是《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》课程笔记- 大模型部署背景- 大模型部署方法- `LMDeploy` 简介- 动手实践环节- 在人工智能领域,模型部署是实现深度学习算法落地应用的关键步骤。简单来说,模型部署就是将训练好的深度学习模型在特定环境中运行的过程。最终模型都是要服务于实际业务场景的,这就牵扯到需要把模型部署到服务器,或者是移动端、边缘端。原创 2024-04-15 16:48:23 · 751 阅读 · 0 评论 -
《书生·浦语大模型实战营》第三节课《茴香豆:搭建你的 RAG 智能助理》实践笔记
`RAG` ( `Retrieval Augmented Generation` ) 是一种结合了检索( `Retrieval` ) 和生成 ( `Generation` ) 的技术,旨在通过利用**外部知识库**来增强大型语言模型 ( `LLMs` ) 的性能。它通过检索与用户输入相关的信息片段,并结合这些信息来生成更准确、更丰富的回答。通俗的讲,可以将 `RAG` 理解为一个搜索引擎,将用户输入的内容作为索引,在外部知识库中搜寻相关的内容,结合大语言模型的能力生成回答。原创 2024-04-12 20:21:50 · 574 阅读 · 0 评论 -
《书生·浦语大模型实战营》第三节课《茴香豆:搭建你的 RAG 智能助理》课程笔记
RAG) 是一种结合了检索(Retrieval) 和生成 (Generation) 的技术,旨在通过利用外部知识库来增强大型语言模型 (LLMs) 的性能。它通过检索与用户输入相关的信息片段,并结合这些信息来生成更准确、更丰富的回答。通俗的讲,可以将RAG理解为一个搜索引擎,将用户输入的内容作为索引,在外部知识库中搜寻相关的内容,结合大语言模型的能力生成回答。在这一部分中介绍了RAG的基本概念、原理、流程和发展过程中出现的三种范式,以及RAG的一些常用优化方法和与微调) 的比较。原创 2024-04-12 19:24:06 · 914 阅读 · 0 评论 -
《书生·浦语大模型实战营》第二节课《轻松玩转书生·浦语大模型趣味 Demo》实践笔记
`InternLM2` 针对不同的使用需求,每个规格包含三个模型版本。按规格分类,有 `7B` 和 `20B` 两种模型;按使用需求分类,有 `InternLM2-Base`、 `InternLM2` 和 `InternLM2-Chat` 。 `InternLM2` 在超长上下文、综合性能、对话和创作体验、工具调用能力以及数理能力和数据分析功能等方面都有显著优势。其中,`InternLM2-Chat-20B` 在重点评测上甚至可以达到媲美 `ChatGPT` (`GPT-3.5`) 的水平。原创 2024-04-05 17:33:18 · 845 阅读 · 0 评论 -
《书生·浦语大模型实战营》第二节课《轻松玩转书生·浦语大模型趣味 Demo》课程笔记
`InternLM2` 针对不同的使用需求,每个规格包含三个模型版本。按规格分类,有 `7B` 和 `20B` 两种模型;按使用需求分类,有 `InternLM2-Base`、 `InternLM2` 和 `InternLM2-Chat` 。 `InternLM2` 在超长上下文、综合性能、对话和创作体验、工具调用能力以及数理能力和数据分析功能等方面都有显著优势。其中,`InternLM2-Chat-20B` 在重点评测上甚至可以达到媲美 `ChatGPT` (`GPT-3.5`) 的水平。原创 2024-04-05 17:20:53 · 669 阅读 · 0 评论 -
《书生·浦语大模型实战营》第1次学习笔记
2022年12月1日,`ChatGPT`发布,迅速发展,成为互联网历史上最快达到一亿用户的产品。我在互联网行业有二十多年的经验,看到`ChatGPT`的时候就仿佛小时候第一次接触计算机、1996年上大学后第一次接触互联网、2008年第一次购买`iPhone`一代手机。2023年,随着以`ChatGPT`为代表的AIGC(生成式AI,GenAI)的快速发展,就开始找资料,渐渐理解了这不同于以往的搜索引擎的大规模集群方案,而是把海量知识压缩到一个很小的模型中。最开始体验各种网上应用,然后看介绍资料,随着原创 2024-03-31 16:20:20 · 1257 阅读 · 0 评论 -
在`VS Code`中使用`CMake`编译调用`MLX`的程序
在编译 https://blog.csdn.net/hu_zhenghui/article/details/135031683 之后,下一步就是在程序中使用库。尽管可以使用编译,不过的项目配置太复杂了,下面尝试使用编译调用的程序。源代码直接使用项目自带的示例代码 https://github.com/ml-explore/mlx/blob/main/examples/cpp/tutorial.cpp编辑文件下面详细讲解。定义了一个名为的项目,指定该项目使用的语言是。设置的标准为,要求最低为。尝试查找包原创 2023-12-16 16:20:45 · 144 阅读 · 0 评论 -
苹果深度学习框架`MLX`简介及编译示例
MLX北京时间2023年12月6日,苹果机器学习研究中心 (Apple machine learning research) 在GitHub上开源MLX。项目地址为。MLX深度学习框架是苹果专门为芯片优化,号称能够简化MaciPadiPhone平台研究人员设计和部署模型的过程。MLX熟悉的 APIMLX具有紧密类似NumPy的Python API。MLX还拥有功能齐全的C++ API,它与Python API非常相似。MLX具有像mlx.nn和这样的更高级别的软件包,其API紧密类似PyTorch。原创 2023-12-16 13:32:24 · 496 阅读 · 0 评论