刘知远：大模型值得探索的十个研究方向

最新推荐文章于 2024-07-15 15:20:24 发布

u013250861

最新推荐文章于 2024-07-15 15:20:24 发布

阅读量191

点赞数

分类专栏： LLM 文章标签：人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u013250861/article/details/132150042

版权

LLM 专栏收录该内容

108 篇文章 222 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了清华大学计算机系副教授、OpenBMB主要发起人之一刘知远老师对知乎问题“大模型LLM领域，有哪些可以作为学术研究方向？”的回答。

　　△本文是清华大学计算机系副教授、OpenBMB主要发起人之一刘知远老师对知乎问题“大模型LLM领域，有哪些可以作为学术研究方向？”的回答转载。

　　回答原文：

　　感觉有责任回答这个问题，恰好在高铁上写下回答。2022年初我做过一个报告题目是《大模型十问》，分享我们认为大模型值得探索的十个问题。当时大模型还没这么火，而现在大模型已然妇孺皆知日新月异，不过整体看当时提到的这10个问题大部分还没过时。报告内容和这个问题很契合，

了解本专栏

超级会员免费看

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
刘知远：大模型值得探索的十个研究方向

首先，我们需要建设更加高效的分布式训练算法体系，这方面很多高性能计算学者已经做了大量探索，例如，通过模型并行[9]、流水线并行[8]、ZeRO-3[1] 等模型并行策略将大模型参数分散到多张 GPU 中，通过张量卸载、优化器卸载等技术[2]将 GPU 的负担分摊到更廉价的 CPU 和内存上，通过重计算[7] 方法降低计算图的显存开销，通过混合精度训练[10]利用 Tensor Core 提速模型训练，基于自动调优算法 [11, 12] 选择分布式算子策略等。一个问题的回答是否可以从不同的维度给出打分？
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。