书生浦语大模型实战营——第一课: InternLM大模型全链路开源体系

最新推荐文章于 2024-11-15 20:05:10 发布
最新推荐文章于 2024-11-15 20:05:10 发布
阅读量660 收藏 11
点赞数 7
文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61736727/article/details/135416294
版权
本文讨论了专用模型和通用大模型的区别，前者如ImageNet用于图像分类，后者如ChatGPT处理多种任务。文章涉及大数据集（如2TB的书生万卷）预训练、InternLM-Train、微调方法（如全参数和部分参数调整）、部署工具LMDeploy以及测评平台OpenCompass。最后提到langchain的学习对未来可能的应用前景。
摘要由CSDN通过智能技术生成

专用模型：针对特定任务，特定场景，一个模型解决一个问题。eg：ImageNet的图像分类

通用大模型：一个模型应对多种任务。eg：ChatGPT

  • 数据

书生万卷-2TB数据，涵盖多种模态与任务

  • 预训练

InternLM-Train

  • 微调

全参数微调或部分参数微调。

XTuner

  • 部署

LMDeploy

  • 测评

OpenCompass

  • 应用

补充一下：学完课程后对langchain的学习，可能之后会用到！

loewen-hob
关注
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1815
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
上海人工智能实验室的书生·浦语大模型学习笔记（第二期第一课之上篇）
weixin_53443275的博客
03-30 725
在人工智能的发展道路上，大模型无疑成为了重要的突破口。从专用模型到通用大模型，它们在解决特定任务和应对多种任务、多种模态方面都展现出了强大的能力。本文记录书生浦语大模型的开源历程及其全链路开源体系。
InternLM 实战营 第一课——书生·浦语大模型全链路开源体系
yuanwei416的博客
03-29 379
2023年6月7日：上海人工智能实验室首次发布了InternLM千亿参数语言大模型，这是“书生 浦语”系列的重要起点。2023年7月6日：InternLM模型经历了全面升级，支持了更长的8K语境和多达26种语言，显著提升了模型的通用性和实用性。同时，实验室开源了InternLM-7B模型与全链条的工具体系，为AI社区提供了强大的支持。2023年8月14日：实验室进一步开源了书生·万卷1.0多模态预训练语料库，丰富了AI模型的训练数据来源。
InternLM实战营——书生·浦语大模型全链路开源体系（第一节课笔记）
qq_41106276的博客
05-25 609
从2023年起，大型语言模型成为研究的热点，书生·浦语大模型也随之推出了多个版本，包括InternLM、InternLM-7B、InternLM2等，并在参数量、语境支持和语言种类上不断升级和扩展。评测方面，OpenCompass 2.0提供了全面的能力评测，包括知识、语言、理解、数学、代码、推理等多个维度。该模型体系为研究和应用提供了一个轻量级但性能强大的模型基座，支持深度领域适配，并且在对话交互、指令遵循、共情聊天和工具调用等方面进行了优化。
书生·浦语大模型实战营——第一次作业
m0_61420917的博客
02-15 296
资料来源： github网址：InternLM/tutorial (github.com) b站视频：书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili了解大模型的历史发展和应用场景 书生浦语大模型系列的特点和参数数量、性能等模型到应用的流程，其中智能体agent是大模型发展的又一重要方向了解整体开源体系，后续课程也是围绕此进行的
【InternLM实战营第二期笔记】01：书生浦语大模型全链路开源体系+InternLM2技术报告
莉莉兹的摸鱼日记
05-19 998
课程文档：https://github.com/InternLM/Tutorial/tree/camp2第一课录播：https://www.bilibili.com/video/BV1Vx421X72DInternLM2 技术报告：arxiv.org/pdf/2403.17297.pdf为啥已经有些 AI 基础还要再来学下这门课呢？主要考虑是重新走走整条链路，把推的太前的知识巩固巩固，另外也是受到茴香豆项目的影响——白牛大佬在知乎的帖子里有课程链接。于是自然而然就报名了。闲话少说，以下是笔记。
书生大模型实战营第三期基础岛第一课——书生大模型全链路开源体系
weixin_42567071的博客
08-23 1042
https://internlm.intern-ai.org.cn/https://github.com/InternLM/InternLM卓越的推理性能：在数学推理方面取得了同量级模型最优精度，超越了 Llama3 和 Gemma2-9B。 有效支持百万字超长上下文：模型在 1 百万字长输入中几乎完美地实现长文“大海捞针”，而且在 LongBench 等长文任务中的表现也达到开源模型中的领先水平。 可以通过 LMDeploy 尝试百万字超长上下文推理。更多内容和文档对话 demo 请查看这里。 工具调用能
《书生·浦语大模型实战营》第5课 学习笔记：LMDeploy 量化部署 LLM 实践
shiter编写程序的艺术
06-24 1147
模型部署，就是把已经训练好的模型放在特定的环境中运行的过程。
《书生·浦语大模型实战营》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》课程笔记
胡争辉
04-19 899
2024年3月开始参加《书生·浦语大模型实战营》 第一节课《书生·浦语大模型全链路开源体系》 第二节课《轻松玩转书生·浦语大模型趣味 Demo》 第三节课《茴香豆：搭建你的 RAG 智能助理》 第五节课《LMDeploy 量化部署 LLM 实践》 这是《书生·浦语大模型实战营》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》课程笔记 想利用底座模型应用到自己的特定领域当中，应用到一个特定的下游任务当中，表现是不如针对领域内训练的模型，所以需要进行领域内微调。
书生·浦语大模型全链路开源体系（第二期学员笔记总结）
DizzyOK的博客
05-23 1752
书生·浦语大模型实战营第二期初夏场，记录一下第一节课的视频作业和文档作业。
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
AI 大模型如何重塑软件开发流程与模式
lssffy的博客
11-12 815
在传统的软件开发流程中，开发者从需求分析开始，到架构设计、编码、测试、部署和维护，整个过程往往需要花费大量的时间与人力。开发者需要从零开始编写代码，并通过反复的调试和测试来确保代码质量。这种方式虽然严谨，但效率相对较低，并且容易出现人为错误。而 AI 大模型的加入为软件开发带来了革命性的变化。代码生成工具如 GitHub Copilot 等，能够根据开发者的自然语言提示自动生成代码，甚至能够理解上下文，从而大幅减少重复劳动。智能调试和测试工具可以快速发现潜在的错误，给出修复建议。
深度学习之循环神经网络(RNN)
weixin_43775295的博客
11-12 639
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
ks8 本地化部署 F5-TTS
陈锐的技术笔记
11-13 811
此外，F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略，这一策略可以在推理阶段优先处理早期的流步骤，从而提高生成语音与输入文本的对齐效果。在 LibriSpeech-PC 数据集上，该模型的字错误率（WER）达到了2.42，并且在推理时的实时因子(RTF)为0.15，显著优于之前的扩散模型 E2TTS，后者在处理速度和鲁棒性上存在短板。传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码，这些都增加了合成过程的复杂性。继续TSS的启动，进入pod 输入命令。
【Node-Red】使用文件或相机拍摄实现图像识别
weixin_43195420的博客
11-12 1155
使用文件或相机拍照实现图像识别
文献阅读 | Nature Communications：使用自适应图注意自动编码器从空间解析的转录组学中解读空间域
最新发布
weixin_45851732的博客
11-15 831
文献介绍 文献题目： 使用自适应图注意自动编码器从空间解析的转录组学中解读空间域 研究团队： 张世华（中国科学院数学与系统科学研究院） 发表时间： 2022-04-01 发表期刊： Nature Communications 影响因子： 17.6（2022年） DOI： 10.1038/s41467-022-29439-6 摘要 空间分辨转录组学的最新进展使得能够全面测量基因表达模式，同时保留组织微环境的空间背景。破译组织中 spots 的空间背景需要仔细使用它们的空间信息。为此，作者开发了一个图注
人工智能是这样理解“情绪”的
JellyAI的博客
11-12 1201
在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个数据来描述盒子的特征时，我们就说这个盒子的特征是三维的。如果再加上颜色、重量和材料等特征，那么这个特征空间就是六维的了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值