本地部署 Meta Llama3-8b 和 Llama3-70b

0. 引言

今天，Meta 正式介绍Meta Llama 3，Meta 开源大型语言模型的下一代产品。
这次发布包括具有80亿（8B）和700亿（70B）参数的预训练和经过指令细化训练的语言模型，可以支持广泛的应用场景。

Llama 3模型将很快在AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM和Snowflake上提供，并得到AMD、AWS、Dell、Intel、NVIDIA和Qualcomm提供的硬件平台的支持。
Meta 致力于以负责任的方式发展Llama 3，并提供各种资源帮助他人也能负责任地使用它。这包括随Llama Guard 2、Code Shield和CyberSec Eval 2一起引入的新的信任与安全工具。
在接下来的月份里，Meta 期望推出新的功能、更长的上下文窗口、额外的模型尺寸以及提升的性能，并且Meta 将分享Llama 3的研究论文。 以Llama 3技术构建的Meta AI现已成为世界领先的AI助手之一，能够增强您的智慧并减轻您的负担——帮助您学习、完成任务、创作内容以及连接，以充分利用每一刻。

1. Meta对Llama 3的目标

在Llama 3项目中，Meta致力于打造最佳的开源模型，使其能够与当今可用的最优质的私有模型相媲美。Meta希望解决开发者的反馈，以提高Llama 3的整体帮助度，同时继续在大规模