大语言模型发展树
主要分成底层和3个分支（transformer-encoder类、transformer类、transformer-decoder类）
[GitHub - The Practical Guides for Large Language Models]
[Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond]
不同模型的回复质量
大模型训练难度
训练成本高
1750 亿参数模型的 GPT-3 是在 3000 亿 token 上进行训练的。谷歌使用了 GCP TPU v4 芯片来训练 PaLM 模型，若我们现在也像谷歌那样做，那么如今的训练成本仅为 140 万美元左右。
from:[https://blog.csdn.net/pipisorry/category_12337443.html]
ref:
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
