大模型基础原理与未来的机遇挑战

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

大模型如今正成为人工智能领域的热点话题，引发了大众广泛的兴趣与探讨。作为一项前沿的技术，大模型为我们带来了无尽的可能性，它们能够模仿并创造人类语言，解答各种问题，并在多个领域中展现出卓越的能力。

2023年8月10日，由北京科技国际交流中心支持的大模型主题科普论坛暨首都海智创新链接系列活动，邀请了宾夕法尼亚大学副教授苏炜杰，中国人民大学副教授刘勇。两位嘉宾从大模型基础理论、ChatGPT原理、机遇与挑战等角度为观众带来一场精彩纷呈的大模型科普论坛，让大家对大模型的底层逻辑和未来发展有了更深入的认识。本次活动共吸引了超2万人线上观看。

语言模型基础理论科普：关于对齐技术的应用与挑战

苏炜杰老师首先介绍了大语言模型的概念和影响。大语言模型使用了Transformer架构，是一种基于注意力机制神经网络架构，主要使用next token prediction进行训练，输入与输出都是以文本形式。此外，大语言模型的影响力也无处不在，比如：它让图灵测试看起来有点过时，它擅长代码、写作和总结，能够以更快的方式获取长文本中的信息，它对劳动力市场有着较大的影响，它有着巨大的商业价值，可以增加生产力。它也将极大地改变教育形式，提供了实时学习的可能性……

苏老师介绍到其最近关于数据科学的一篇工作《What Should Data Science Education Do with Large Language Models?》，其中指出在大语言模型来临之后，对人类纯粹记忆性能力的要求会有所降低，现在更强调一种抽象的能力，对未来人才的培养需要更看重对问题本质的剖析能力，这样才能更好地评价和改进AI对人类问题做出的解答。关于大模型对劳动市场的影响，苏老师提出了“Complete-information”的概念，如果工作的输入和输出信息比较完整并且边界清晰，那么这种形式的工作会更容易被取代，比如程序员、会计、司机等职业。理论计算机科学家、物理学家、数学家等对人类智商要求较高的工作也有可能被AI取代。总体而言，AI可以做的事情与人类相比是有很大不同的。

如何更好地进行大语言模型的相关研究？</