书生·浦语大模型学习笔记(一)

仅以此来记录自己学习大模型(Large Model) 的过程

什么是大模型

大模型是指具有大规模参数复杂计算结构的机器学习模型。设计之初是为了能够提高模型的表达能力和预测性能,处理更加复杂的任务和数据。通过对大模型的训练使其能够学习复杂的模式和特征,具有更强的泛化能力,可以对未见过的数据做出准确的预测。

大模型的特点

  • 大规模参数:大模型之所以有很强的表达能力和预测性能,主要还是因为其有着规模庞大的参数
  • 自监督学习:大模型能够通过自监督学习在大规模未标记数据上进行训练。
  • 迁移学习:大模型可以将某一领域的思考模式,快速迁移到其他领域,提高自主学习的能力。
  • 强大的计算资源

大模型发展成发展通用人工智能的途径

大模型发成发展通用人工智能的途径

书生·浦语大模型介绍

书生·浦语官网: 书生·浦语官网
书生·浦语是由上海AI实验室、商汤科技联合香港中文大学、复旦大学及上海交通大学发布的千亿级参数大语言模型(InternLM)

开源历程

  • 2023.6.7 InternLM 千亿参数语言大模型发布
  • 2023.7.6 InternLM 千亿参数语言大模型全面开源,免费商用:InternLM-7B 模型、全链条开源工具体系
  • 2023.8.14 书生·万卷 1.0 多模态预训练语料库开源发布
  • 2023.8.21 InternLM-Chat-7B v1.1 发布 开源智能体框架 Lagent
  • 2023.8.28 InternLM 参数升级至123B
  • 2023.9.20 InternLM-20B 开源工具链全线升级
  • 2024.1.17 InternLM 2 开源

InternLM2 体系

  • 规格

    • 7B:为轻量级的研究和应用提供轻便但性能不俗的模型
    • 20B:综合性能强劲,有效支撑更加复杂的使用场景
  • 模型版本

    • InternLM2-Base: 高质量和具有很强可塑性的模型基座,是模型进行深度领域适配的高质量起点
    • InternLM2:在Base基础上,多个能力方向进行强化。
    • InternLM2-Chat:具有很好的指令遵循,共情聊天和调用工具等能力

InternLM2 亮点

在这里插入图片描述
性能方面:
在这里插入图片描述

从模型->应用的流程

在这里插入图片描述

全链条开源开放体系

数据

开源数据集:openDataLab

在这里插入图片描述

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述

部署

部署工具: LMDeploy

在这里插入图片描述

评测

评测工具:openCompas

在这里插入图片描述
在这里插入图片描述

应用

Lagent: Lagent
LangChain:LangChain

在这里插入图片描述

引用链接

  • 16
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值