人工智能
文章平均质量分 65
gongzi123
这个作者很懒,什么都没留下…
展开
-
Llama2训练与数据资料链接
Llama2训练与数据资料链接原创 2023-07-27 14:07:13 · 416 阅读 · 1 评论 -
大模型调研之 OPT-175B是如何炼成的(过程,细节,参考链接等)
为给大家提供相关决策与讨论依据,我整理了这篇文档供参考。现有公开的论文中,没有涉及到chatgpt3.5/chatgpt4具体训练的方法,chatgpt4的所谓论文则更像是一个产品广告,无怪乎有不少人称OpenAI公司为closeAI。近期更有诸如chatgpt依靠MOE(混合专家系统)的传言,更使chatgpt的训练方法显得扑朔迷离。这里对大模型训练方法的探讨,是基于斯坦福的一个大模型(OPT-175)的训练讨论会(Susan Zhang)。原创 2023-07-21 09:41:42 · 557 阅读 · 1 评论