《侃侃大模型系列》第二章（3）——模型的发展历程：从神经网到预训练大模型（2）​​​​​​ 大模型的发展路径

​​​​​​ 大模型的发展路径：开源向左，闭源向右

大模型的开源和闭源是指大型软件或模型的源代码是否公开可供他人使用和修改。开源意味着源代码是公开的，任何人都可以查看、使用和修改这些代码，而闭源则意味着源代码是私有的，只有开发者或拥有者才能访问和修改。OpenAI、Anthropic 等越来越多的科技公司选择不公开模型的代码和权重。

目前闭源的技术巨头为 AI 技术开发投入了大量金钱、计算资源、数据等成本，但开源社区的发展速度和成果表现总能迎头赶上。

对于开源的发展情况，我按照Synaptic对开源社区的分析文章进行了总结，主要讲了以下几个方面的内容：

首先，Synaptic在文章中指出，在2023年，开源AI的发展势头强劲，已经巧妙而有效地抢占了谷歌和OpenAI等大型科技公司的市场份额。开源AI在速度、适应性、隐私性和整体效率等方面都表现出了强大的优势。一些开源AI模型，如Mistral、Llama在受欢迎程度和性能方面正在迅速超越闭源模型，吸引了大量开发人员、研究人员和投资者的关注。

其次，文章提到，2023年，Github上开发者对生成式AI项目的贡献同比增长了148%，这显示了开源AI项目的活跃度和受欢迎程度正在迅速提升。在过去的两年里，开源AI领域接收的投资超过了80亿美元，这也进一步证明了开源AI的市场潜力和发展前景。

最后，文章强调了开源AI生态系统的重要性。在开源AI模型中，“开源”意味着模型的源代码、所有用于训练模型权重和参数都是可公开访问、可用、可修改的，并且允许转载。这种开放性和可访问性使得更多的人可以参与到AI模型的开发和改进中来，推动了AI技术的快速发展和普及。

总的来说，Synaptic对开源社区的分析文章主要强调了开源AI在2023年的快速发展和巨大潜力，以及开源AI生态系统在推动AI技术进步方面的重要作用。

目前有许多大模型都是开源的，Meta是这个领域的重点玩家，开发并开源了能力上与GPT-4对标的Llama大模型，该模型参数量比Llama2还要大上数倍，Meta还计划在2024年初开始训练这个新的大模型。

Meta的开源大模型支持免费商用，这意味着个人开发者和中小型企业能够以最低的成本调用Llama2大模型，而不是花费高昂的成本采购闭源大模型。这种策略有利于开源大模型用户的吸纳与培养，以及大模型开源生态的构建。

此外，Meta的开源大模型不仅在语言处理方面有所建树，还涵盖了其他多个方向，如目标检测、图像分割、目标跟踪、人脸检测与识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习等。

Meta在开源大模型的技术细节上也进行了深入的探索和研究。例如，在Llama 2模型的训练中，Meta在2万亿个数据标记（Token）上进行了训练，以提高性能并减少错误，同时尽力删除含有大量私人信息的数据。此外，Meta还训练了两个奖励模型，一个专注于有益性，另一个专注于安全性，以提高模型的性能和应用效果。