书生·浦语大模型全链条——浅显理解

已于 2024-10-03 11:44:54 修改
阅读量185 收藏 2
点赞数 4
文章标签： python 语言模型
于 2024-10-03 11:23:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GazeInTheLake/article/details/142690105
版权

1、时间线

  • 2023年开放7B模型免费商用

  • 2024年开源internLM2.5

2、能力评估指标

  • 推理能力
    在这里插入图片描述

  • 长文理解、精确处理，使用大海捞针实验，7B模型已可以实现百万级token的长文理解

  • 自主规划和搜索（mindSearch）

3、核心技术

模型能力飞轮

用当前模型进行辅助数据、指令优化，用于预训练数据和对齐数据，得到更好模型。随后这个更好模型又进行辅助优化，加速自身迭代。

高质量合成数据

  • 基于规则的数据构造
  • 基于模型的数据扩充
  • 基于反馈的数据生成

4、全链条开源

  • 数据 ：书生·万卷，多媒体语料库
    在这里插入图片描述

  • 预训练：InternEvo，性能超过DeepSpeed，显存、分布式优化。降低硬件要求

    在这里插入图片描述

  • 微调：XTuner，微调和偏好对齐算法。在消费级设备上，1.8B模型也无法全参数微调

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 部署：LMDeploy，性能超过vllm

在这里插入图片描述
在这里插入图片描述

  • 评测：OpenCompass

    在这里插入图片描述

  • 应用

    • MindSearch 思索式搜索应用

      在这里插入图片描述

    • Lagent 支持代码解释器的智能体框架

在这里插入图片描述
在这里插入图片描述

  • MinerU 文档解析

  • 茴香豆HuiXiangDou 基于专业知识库的群聊助手
    在这里插入图片描述

GazeInTheLake
关注
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1443
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1722
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生浦语大模型实战营——第一课: InternLM大模型全链路开源体系
m0_61736727的博客
01-05 629
针对特定任务，特定场景，一个模型解决一个问题。eg：ImageNet的图像分类。：学完课程后对langchain的学习，可能之后会用到！一个模型应对多种任务。eg：ChatGPT。书生万卷-2TB数据，涵盖多种模态与任务。全参数微调或部分参数微调。
【书生·浦语大模型实战营】书生浦语大模型全链条开放体系介绍
weixin_42553583的博客
05-23 744
在国内众多开源大模型中，上海人工智能实验室开源的书生浦语系列绝对占有一席之地。可能有很多同学还记得年初央视播出的首部人工智能生成动画片《千秋诗颂》，就是上海人工智能实验室的“书生筑梦”大模型制作的。具体可以查看以下新闻报道国产文生视频大模型“筑梦”亮相 助央视制作AI动画片《千秋诗颂》筑梦大模型是文生图大模型，我们今天介绍的重点是大语言模型，所以重点在书生浦语上。正好我最近报名的书生·浦语大模型实战营需要写学习笔记。这篇文章既可以当做学习笔记，也可以给大家详细的介绍一下书生浦语系列产品。
大模型学习之书生·浦语大模型2——趣味Demo
uncle_ll的博客
01-07 640
书生·浦语大模型进行智能对话，anget以及多模态demo实现
书生·浦语大模型全链路开源体系介绍
分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题
02-27 1084
书生·浦语大模型开源历程：书生·浦语大模型系列：以20B开源大模型为例，其性能全面领先相近量级的开源模型（包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型），以不足三分之一的参数量，达到Llama2-70B水平。总之书生浦语是一个大模型全链路开源体系，为开发者提供了从数据集准备到模型训练、部署和应用的全套解决方案。通过该体系，开发者可以自由定制和扩展模型，满足不同场景下的需求。Prometheus+Grafana 实践派。
书生·浦语大模型实战营——两周带你玩转微调部署评测全链路
热门推荐
软贱开发攻城狮
12-26 1万+
人工智能技术的发展日新月异，其中大模型的发展尤其迅速，已然是 AI 时代最炙手可热的当红炸子鸡。然而，大模型赛道对于小白开发者来说还是有不小的门槛。面对内容质量参差不齐的课程和实际操作中遇到的问题，许多开发者往往感到迷茫，不知道如何入手。大模型的训练和部署需要强大的计算资源，普通开发者难以承受。大模型开发对计算机新手的技术水平要求较高，是具有挑战性的任务。大模型应用场景需要定制化训练，许多开发者缺乏相关行业知识和经验。......
书生·浦语大模型实战营——第三课
Dominikzhuan的博客
04-21 1508
首先，介绍了RAG的基础知识和原理架构，然后详细介绍了RAG的工作流程和向量数据库的优化方法。通过实例演示了RAG技术在问答系统中的应用，井解决了大模型处理知识密集任务时的各种桃战。最后，强调了向量数据库的重要性和优化方法，以及不断更新向量数据库以适应新知识的能力。修改配置文件中 向量数据库和词嵌入的模型、用于检索的重排序模型和本次选用的大模型 三个模型的路径；针对明确的主题，去检索相似度高的 材料chunk，并整理成回复；中文提问，转换为英文，并将回答转换为中文，答案准确；英语提问，但是结果不准；
书生·浦语大模型——全链条开源开放体系
MoyiTech
01-05 422
这次的LLM组队学习使用了书生·浦语大模型全链路开源开放体系最令我开心的就是这种，甚至提供了从书生·万卷数据集、预训练框架到微调框架 到部署框架，就连评测框架也有提供**（OpenCompass）
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
VeighNa：强大的Python开源量化交易平台
Unity打怪升级
09-26 725
VeighNa（简称 VN 或 vn.py）是一个基于 Python 的开源量化交易平台，专为量化交易爱好者和专业交易员设计。VeighNa 是由国内开发者社区推动的开源项目，旨在提供一个功能丰富、灵活且易于扩展的量化交易解决方案。该框架不仅支持多种资产类别的交易，如股票、期货、期权、加密货币等，还支持多种交易接口和协议，使得用户能够轻松进行多市场、多品种的交易策略开发和部署。
第二百五十四节 JPA教程 - JPA 多对多映射示例
2301_78772942的博客
09-27 711
第二百五十四节 JPA教程 - JPA 多对多映射示例
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
最新发布
haidizym的博客
10-02 335
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
python中的深浅拷贝以及总体框架了解
AgostoDu的博客
09-26 1184
1、当b使用copy.deepcopy()深拷贝的时候，可以理解为b不仅外面的整体开辟了一个新的内存地址，b里面包含的列表也开辟了新的内存地址和a里面的内存地址没有任何关系，所以当a修改里面列表元素的值时不会影响b里面列表元素的值。print(mr) #{'name': 'lis', 'age': 18, 'scroe': 100}<br>备注：已经存在的值的优先级>默认值<br>6.3 直接修改 值，显示最新修改值 （修改默认值优先级小于直接添加的字典值）<br>
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 973
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
神经网络在多分类问题中的应用
小高~的博客
09-29 804
神经网络在分类任务中的应用越来越广泛，尤其是在图像识别、自然语言处理等领域。本文将介绍如何使用PyTorch构建一个简单的神经网络来处理多分类问题。我们将通过一个实战案例，展示数据构造、模型训练、模型保存与加载、以及评估结果的整个过程。
设置无标题 android
05-02
在Android应用中，设置无标题是一种简洁和美观的设计方式，可以为用户提供更流畅的使用体验。以下是一些实现设置无标题的方法： 1. 在Android的Manifest文件中，找到对应Activity的标签，并添加”android:theme="@android:style/Theme.NoTitleBar"“属性。这样可以通过Android自带的主题去掉标题栏。 2. 使用自定义的主题，可以在样式表中添加以下代码： <style name="AppTheme" parent="Theme.AppCompat.NoActionBar"> <!-- ...其他样式... --> </style> 这种方式可以通过设置主题去除ActionBar和标题栏，同时保留其他布局元素。 3. 去掉代码中的setTitle()方法，这是一种最简单的方法，通过不设置Activity的标题来实现无标题。 以上就是三种常见的实现Android无标题的方式，开发者可以根据实际需求进行选择。值得注意的是，去除标题栏可能会影响用户的导航体验，因此在设计上需要考虑周全。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值