Meta LlaMA 3模型深度解析

拉玛的故事

“在安第斯山脉崎岖的山区，生活着三种非常美丽的生物——里约、洛基和塞拉。它们有着光泽的皮毛和闪闪发光的眼睛，是力量和韧性的灯塔。

据说，从很小的时候起，它们对知识的渴望就永无止境。它们会寻找牛群中聪明的长者，聚精会神地听它们的故事，像海绵一样吸收它们的智慧。随着这一点的发展，它们的超能力不断增强，它们与其他动物合作，并了解到团队合作是在安第斯山脉这一充满挑战的地形上赢得选拔赛的关键。

如果它们遇到迷路或需要帮助的旅行者，里约会从它们的角度出发，安慰它们，洛基会迅速提供解决方案，而塞拉会确保它们有足够的力量继续前行。因此，它们赢得了动物族群的钦佩，并鼓励大家以它们为榜样。

当太阳在安第斯山脉上落山时，里约、洛基和塞拉站在一起，它们的精神像山脉一样交织在一起。因此，它们的故事作为知识、智慧和协作的力量以及有所作为的意愿的证明而流传至今。

它们是超级拉玛([译者注]“Llama”音译为拉玛，是一种哺乳动物，属于骆驼科，是南美洲安第斯地区的重要家畜)，它们这个三人团队被亲切地称为LlaMA3!”

Meta公司的LlaMA 3

上面的这个故事与Meta开源的大型语言模型(LLM)——LlaMA 3(大型语言模型Meta AI)的故事并不遥远。2024年4月18日，Meta发布了其8B和70B参数大小的大型语言模型LlaMa 3家族，声称这是对LlaMa 2模型的重大飞跃，并努力在这一级别的规模上竞争成为最先进的LLM模型。

Meta公司表示(https://ai.meta.com/blog/meta-llama-3/)，在构建LlaMA 3模型时，存在四个关键关注点——模型架构、预训练数据、扩展预训练和指令微调。这不由得让我们思考：如何才能从这种非常有能力的模型中获得最大收益，无论是从企业级规模上还是在基本规模级层面上。

为了帮助探索其中一些问题的答案，我与AWS生成式人工智能团队负责人Edurado Ordax和科罗拉多大学博尔德分校计算机科学专业的Tom Yeh教授展开合作。

接下来，让我们开始这趟“徒步旅行”吧……

如何利用LlaMA 3的威力?

API与微调

来自于最新的应用实践证明，访问和使用这些大型语言模型的主要方式有两种——一种是通过API调用，另一种是对现有模型进行微调。即使存在这样两种非常不同的方法，在此过程中也还存在其他方面的因素，而且这些因素可能会变得至关重要，如下图所示。

(注：本部分中的所有图片均由Eduardo Ordax提供。)

添加图片注释，不超过 140 字（可选）

归纳来看，用户与LlaMA3进行交互的方式主要分为6个阶段。

阶段1：通过按原样使用模型，以适应广泛的应用场景。

第2阶段：在用户自定义的应用程序中使用模型。

第3阶段：使用提示工程来训练模型，以产生所需的输出。

第4阶段：在用户端使用提示工程，同时深入研究数据检索和微调，这仍然主要由LLM提供商管理。

第5阶段：把大部分事情掌握在自己(用户)手中，从提示工程到数据检索和微调(RAG模型、PEFT模型等)等诸多任务。

第6阶段：从头开始创建整个基础模型——从训练前到训练后。