书生·浦语大模型训练营笔记 第一课

最新推荐文章于 2024-06-18 15:17:52 发布
最新推荐文章于 2024-06-18 15:17:52 发布
阅读量191 收藏
点赞数 1
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46761589/article/details/137226792
版权
本文介绍了书生·浦语大模型的最新进展，包括7B/20BInternLM2-Base和InternLM2-Chat版本，强调了大模型在通用人工智能中的关键作用，以及从模型到应用的开放流程。
摘要由CSDN通过智能技术生成

学习资料来源：

书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

——————————————————————————————————

大模型已经是发展通用人工智能的重要途径

书生*浦语2.0体系

  • 7B/20B
  • InternLM2-Base
    • InternLM2
    • InterLM2-Chat

大模型做的事情是通过给定的context预测接下来的token
 

InternLM2亮点

InternLM2能力

  • 20B>=ChatGPT3.5

从模型到应用的流程

InternLM2开源开放体系

Chen HX
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
书生·浦语大模型训练营第三次课笔记
Adela0546的博客
01-13 962
首先，对于以本地文档形式存在的个人知识库，会使用Unstructed Loader组件来加载本地文档，这个组件会将不同格式的本地文档统一转换为纯文本格式。然后通过Text Splitter组件对提取出来的纯文本进行分割成chunk，再通过开源词向量模型Sentence Transformer将文本段转化为向量格式存储到基于Chroma的相对数据库中。
书生·浦语大模型实战营-第一课笔记
02-14 450
首先了解了大模型的发展历程，从GPT1到GPT4的发展历程，大模型经历自OPENAI发布GPT3.5后进入了快速发展阶段，成为了技术界高度关注的热门技术。课程解决了我的一个疑问，怎么使用大模型，给了我一个非常明确的实践路线。从数据、预训练、微调、部署、评测和应用，书生浦语提供了丰富的工具支撑，解决了开展这些工作的基础工具。后续工作中，我重点关注数据准备和微调，重点学习这两部分，期待在工作中真正实现大模型的落地应用。大模型的出现改变了以往通用人工智能的困局，使得通用人工智能在通用领域的应用变得有可能。
书生·浦语大模型训练营第四次课笔记
Adela0546的博客
01-25 879
本节课主要包括理论和实战两大部分，理论部分会给大家简单介绍一下微调框架XTuner以及整个微调的工作流程，实战部分会手把手的教大家如何使用XTuner来自己微调一个属于自己的开源模型，我们会以intenLM为底座模型来进行微调。
书生·浦语大模型训练营第一次课笔记
Adela0546的博客
01-07 440
书生·浦语大模型介绍
书生·浦语大模型训练营第六次课笔记
Adela0546的博客
02-17 389
OpenCompass大模型评测
书生浦语大模型实战营第一课笔记
lsjmax的博客
03-27 378
实际从模型到应用中间还间隔比较多步骤，个别步骤还是比较复杂和有难度，为此，书生浦语提供了全链路的开源体系，降低这个过程的难度。高效的轻量级预训练框架，在减少通信开销，通信预计算的重叠，长序列训练，容错性等方面做了很多功夫进行优化。第一节课主要对大模型进行介绍，特别是书生浦语大模型的发展历史和目前的全链路开源体系进行总体介绍。通用大模型：一个模型应对多种任务，多种模态。一个模型可以应对文本，语音，图像等相关任务。上传表格，可以根据用户的要求，进行数据的分析和画图展示，以及采用机器学习模型进行建模。
书生浦语大模型训练营第一课笔记：全链路开源体系
RessCris的博客
01-05 422
AI 的研究方向，从专业模型转变为通用模型。上海人工智能实验室的开源历程覆盖了轻量级、中量级、重量级的模型；7B 20B 都是免费开源的，可商用。
书生·浦语大模型训练营笔记&作业汇总
Adela0546的博客
02-19 384
书生·浦语大模型训练营第一次课笔记： https://blog.csdn.net/Adela0546/article/details/135417333书生·浦语大模型训练营第二次课笔记： https://blog.csdn.net/Adela0546/article/details/135514452书生·浦语大模型训练营第三次课笔记： https://blog.csdn.net/Adela0546/article/details/135575846。
书生·浦语大模型训练营 第一课 笔记
01-05 700
实验室提出的开源评测体系OpenCompass，是全球领先的评测体系，提供了六大维度和超过80个数据集，以及四十多万道评测题目。5. XTuner支持微调不同任务和兼容不同数据格式，同时支持主流数据集和训练引擎，并支持Llama，Qwen，ChatGLM等模型。3. 中量级模型以20B为代表，参数量为200亿，能够在模型能力和推理代价之间取得平衡，并提供定制高精度模型的规模。4. 重量级模型以123B为代表，参数量达到千亿级，具备强大的性能，包括推理能力、知识能力、理解和对话能力。
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
libspice源文件笔记
最新发布
cai742925624的专栏
06-18 163
libspice源文件笔记
STM32学习笔记（四）--TIM定时器中断详解
weixin_64593595的博客
06-14 956
TIM定时器中断是STM32微控制器的一种定时功能，允许在设定的时间间隔内触发中断服务程序。定时器可以用于周期性任务、精确延时、PWM信号产生等。
通信原理第八章复习笔记
香草味冰淇淋
06-17 574
由于16QAM信号的16个信号点在水平轴和垂直轴上投影的电平数均有4个（+3、+1、-1、-3），对应低通滤波器输出的4电平基带信号，因而4电平判决器应有3个判决电平：+2、0、-2。大圆上的四个红点表示第一个QPSK信号适量的位置，在这4个位置上可以叠加第二个QPSK矢量，后者的位置用虚线小圆上的4个小黑点表示；每个码元周期内含有1/4载波周期的整数倍，且两种码元包含的正弦波数相差1/2个周期，功率谱衰减快。在多径衰落信道中，信号振幅和相位取值越多，收到的影响越大，因而星型比方型更具有吸引力；
使用源代码编译方式升级内核【笔记】
AnsonNie的博客
06-16 726
升级内核有多个重要的原因，主要包括以下几点： 1. 安全性：随着技术的发展，旧版本的内核可能会存在安全漏洞。黑客或恶意用户可能会利用这些漏洞进行攻击。升级内核可以修复这些已知的安全漏洞，从而提高系统的安全性。 2. 性能优化：新版本的内核通常会包含对性能的改进和优化。这些优化可能涉及CPU调度、内存管理、I/O操作等多个方面，从而提升系统的整体性能。 3. 硬件支持：随着硬件技术的不断进步，新的硬件设备可能需要新版本的内核来提供支持。升级内核可以确保系统能够充分利用最新的硬件设备，并获得更好的兼容性
书生·浦语大模型 黑屏
06-13
"书生·浦语"并不是一个广泛为人知的特定模型，可能是某个特定项目、产品或者人物的代称。由于信息有限，我无法提供详细的介绍。如果你是在问关于某个特定领域的大模型，比如人工智能研究中的一个模型，通常这类模型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值