神经网络大模型技术发展蓝图A Roadmap for Big Model

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。​语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。开源语音数据查询 http://yqli.tech/page/data.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请注明出处。欢迎关注微信公众号：低调奋进。

A Roadmap for Big Model

本文是北京智源人工智能研究院在2022悟道开放日发布的大模型技术​发展蓝图，文章链接

https://dorc.baai.ac.cn/resources/paper/A_Roadmap_for_Big_Model.pdf

（我只是向读者推荐这篇200页的文章。感兴趣的读者可以下载祥读。）

首先，本文列举了大模型的规模发展（图1），目前的模型参数量已经到达174 trillion规模（大部分的公司很难应用到生产环境）​。接下来文章列举了大模型主要的挑战​（图2）：Intelligence Boundary Exploration、Data and Knowledge、Multi-modal Fusion、Comprehensive Evaluation、Governance等等。最后，文章根据Resource、Model、Key Technology和Application四个层面中的14个领域Data、Knowledeg、Computing System、Language、Vision、MultiModal、Reasoning、Theory and Interpretability、Security、Governance、Evaluation、Text Generation、Machine Translation、Dialogue、Protein Prediction等进行详细​讲述总结。