Llama 2|Meta开源语言模型

Meta开源了Llama 2系列语言模型,包含70亿、130亿和700亿参数变体,相较于Llama 1,训练数据增加40%,上下文长度翻倍。Llama 2在多个基准测试中表现出色,但中文回复概率较低。项目提供了安装教程、模型下载和使用示例。
摘要由CSDN通过智能技术生成

此次 Meta 发布的 Llama 2 模型系列包含 70 亿、130 亿和 700 亿三种参数变体。此外还训练了 340 亿参数变体,但并没有发布,只在技术报告中提到了。

据介绍,相比于 Llama 1,Llama 2 的训练数据多了 40%,上下文长度也翻倍,并采用了分组查询注意力机制。具体来说,Llama 2 预训练模型是在 2 万亿的 token 上训练的,精调 Chat 模型是在 100 万人类标记数据上训练的。

公布的测评结果显示,Llama 2 在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。

Llama2|Meta开源语言模型-openAI维基百科

项目说明

该项目经站长反复测试,Llama2可以理解你发送的中文,但进行输出回复时是抽奖回复的,有较小概率回复中文,一般都是英文,所以使用起来可能也没有那么方便。

项目相关

项目地址:facebookresearch/llama: Inference code for LLaMA models (github.com)

论文地址:Llama 2: Open Foundation and Fine-Tuned Chat Models | Meta AI Research

安装教程

原本站长写了很长的教程,都已经快写完了。但是突然想到这些开源语言模型五花八门,实在是太麻烦了,于是开始寻找解决方案。

折腾了半天之后,还真的找到了一个解决办法,那就是

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

产品大道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值