李沐回归B站！讲解Llama 3.1

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信号：CVer111，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

一水 发自 凹非寺
转载自：量子位（QbitAI）

AI大神李沐老师时隔1年多，终于回归B站“填坑”经典论文精读系列了！

没错，最新主角儿还是Llama-3.1：

在这个18分钟左右的视频中，李沐老师手把手教我们读Llama-3.1技术论文，甚至还爆料了一些八卦。（指路7分50秒左右）

他提到，Llama团队在训练最大模型时，其实一开始同时训练了MoE模型和稠密模型，但是前者后来失败了，所以最后只发了一个简单版本。

更多细节大家可以去看原视频，悄咪咪透露，李沐老师刚一上线，播放瞬间破万了。

一大批研究僧们正闻风赶来，瞧瞧热一就知道大家的精神状态了：

（视频地址在文末领取）

与此同时，大模型竞技场排名更新，Llama-3.1-405B代表开源模型首次跻身竞技场前三，仅次于GPT-4o和Claude-3.5-Sonnet。

当然了，这一结果可能并不意外，Meta官方早就暗戳戳地将这几个作了一番比较。

同样是人类评估，Llama-3.1-405B和另外两个打得不分上下。

另外我们看到，Llama-3.1-405B不仅整体能打，在单项（编码、数学、指令遵循、硬提示）中依然牢牢占据前三。

值得一提的是，Llama-3.1-70B也来到了总榜第9，整体置信水平相较之前有了大幅提高。

不过最令人惊喜的是，与此同时，国外网友也对405B的新战绩发来贺电，更有人“贴心”提醒：

405B只接受过“计算最优”训练，他们（指Meta）本来可以继续前进，下一次迭代将会是惊人的。

Okk，知道Llama-3.1-405B很腻害了！

这不，仅发布一周，网友们已经玩出花了……

拿来搞生产

搞生产第一步，先在本地跑起来试试~

Open Interpreter（一个让LLMs在用户本地运行的项目）技术社区经理为我们展示了他的成果——

让Llama-3.1-8B在树莓派上运行，仅用到CPU。

方法嘛，只需在GitHub或Hugging Face下载llamafile文件，配置参数后即可。

据他透露， 这项尝试使用了Raspberry Pi 5（8GB内存）、M.2 Hat和Hailo AI模块，且采用了4-bit quantization（4位量化）。

不过小哥也调侃，这家伙运行几句话就能真·烧干CPU。

接下来，小哥已经在网友的催促下磨刀霍霍向405B了~

除了上面这个例子，还有网友用Llama-3.1-405B在任何GitHub仓库上开始创建聊天机器人。

而且是不花钱那种，Hugging Face免费提供了创建新助手的功能。

不过Groq工程师Rick Lamers在尝试后提出质疑：

当前的RAG管道可能存在问题，容易产生幻觉。

但不管怎样，网友们想尝试的心还是拦不住了~

另外，除了实实在在拿出东西，还有网友拿Llama-3.1-405B放起了烟雾弹。

就在刚刚，网友Hassan宣布：

使用Llama-3.1-405B生成完整的React应用程序。

好家伙，这下开发APP岂不是更简单了！

虽然还未正式开源，但底下网友们已经开始排好队了。

更多玩法欢迎大家自行解锁~

李沐Llama3.1论文精读‍‍‍‍

https://www.bilibili.com/video/BV1WM4m1y7Uh/

榜单完整数据：

https://chat.lmsys.org/?leaderboard
参考链接：
[1]https://x.com/lmsysorg/status/1818321701052276990
[2]https://x.com/rohanpaul_ai/status/1817588798320222518
[3]https://x.com/nutlope/status/1818319880191643801
[4]https://x.com/satvikps/status/1817672316077154320

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看