九、开源小语言模型之chatLLaMA

      这段时间我们能看到科技圈在集体“追风口”，大量资源（注意力、算力、人才、政策等）都被投入到OpenAI引领的大语言模型热潮中，有些高校甚至出现了“不做LLM就没有算力用”的局面，追逐OpenAI的赛道已经十分拥挤。在我们都将注意力放到企业 AI 大战时，谷歌内部人员反而指出，最后的赢家不是谷歌和 OpenAI，反而是开源模型。

 1、源起
    3 月初，随着 Meta 的 LLaMA 模型被泄露，开源社区获得了首个真正具备一线“战斗力”的基础模型。随之而来的就是铺天盖地的创新涌现，而且每隔几天就会出现一波重大发展。仅仅一个月后，我们就走到了如今的局面，有了指令微调、量化、质量改进、人工评估、多模态、RLHF 等变体，其中很多还互为依托。最重要的是，开源社区解决了真正的可扩展性问题，让普通人也有了在 AI 平台上一试身手的机会。训练和实验的门槛已经从研究机构的高精尖操作，下降成了一个人、一个晚上加一台高配笔记本电脑就能搞定的小探索。
    
    开放的效果也显而易见：与 OpenAI 的同类解决方案相比，开源模型的文化影响力迅