全球首个完全开源的指令跟随大模型；T5到GPT-4最全盘点

1. Dolly 2.0：世界上第一个完全开源的指令跟随LLM

两周前，Databricks发布了类ChatGPT的大型语言模型 (LLM)Dolly，其训练成本不到 30 美元。今天，他们发布了 Dolly 2.0，这是业内第一个开源的指令跟随LLM，并根据高质量的人类生成的指令数据集（15000个prompt/response pairs）进行了微调。Dolly 2.0 基于EleutherAI pythia模型系列，是一个具有12B参数的语言模型。

他们正在完全开源 Dolly 2.0，包括训练代码、数据集和模型权重，这些都可以商用。这意味着，任何组织都可以创建、拥有和定制强大的 LLM，并且无需支付 API 访问费用或与第三方共享数据。

链接：
1. https://huggingface.co/databricks；
2. https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm

2. 大型语言模型综述全新出炉：从T5到GPT-4最全盘点

考虑到 LLMs 的快速技术进步，中国人民大学的二十几位研究者通过背景知识、关键发现和主流技术等三方面回顾了 LLMs 的最新进展，尤其关注 LLMs 的预训练、自适应调优、使用和能力评估。此外他们还总结和开发 LLMs 的可用资源，讨论了未来发展方向等问题。对于领域内研究人员和工程师而言，这份综述是一份极其有用的学习资源。

链接：

https://mp.weixin.qq.com/s/7HRr55Md2Wl6EHQMGioumw

3. OpenAI创始人：GPT-4的研究起源和构建心法

GPT模型所取得的成就令人艳羡，不过这建立在OpenAI数年的技术探索和坚定信念上。作为深度参与了GPT模型从0到1生产过程，以及推动GPT研究和工程落地的主要“幕后推手”，Brockman对此深有体会，“它并非试