【通览一百个大模型】Pythia(EleutherAI)

Pythia是由EleutherAI发布的包含16个LLM的套件,研究了模型在不同规模下的训练和演化。每个模型都在相同数据上按相同顺序训练,提供公开数据和检查点以促进科研。案例研究表明,数据偏见影响模型学习,训练顺序对记忆影响小,而预训练频率对大模型性能有显著影响。
摘要由CSDN通过智能技术生成

【通览一百个大模型】Pythia(EleutherAI)

作者:王嘉宁,本文章内容为原创,仓库链接:https://github.com/wjn1996/LLMs-NLP-Algo

订阅专栏【大模型&NLP&算法】可获得博主多年积累的全部NLP、大模型和算法干货资料大礼包,近200篇论文,300份博主亲自撰写的markdown笔记,近100个大模型资料卡,助力NLP科研、学习和求职。


原文:https://zhuanlan.zhihu.com/p/630803625


Pythia大模型基本信息资料卡

序号 大模型名称 归属
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

华师数据学院·王嘉宁

$感谢支持$

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值