中科院自动化所：紫东.太初

从16年的AlphaGo，到17年的AlphaZero，再到18年的AlphaFold，再到2020的GPT-3，人工智能演化发展的速度进一步加快。GP从11亿参数的GPT到150亿参数的GPT-2，再到1750亿参数的GPT-3。

1750亿参数的GPT-3。

为了训练GPT-3，微软新建了一个搭载了1万张显卡，价值5亿美元的算力中心。

模型在训练上则消耗了355个GPU年的算力，而成本超过460万美元。

其成果是显而易见的，GPT-3不仅在NLP方面取得了惊人的成就。

GP从11亿参数的GPT到150亿参数的GPT-2，再到1750亿参数的GPT-3。

今年1月，2000亿参数的鹏程.盘古发布。模型学习了40TB中文文本数据，视觉方面则包含超过30亿参数，兼顾了图像判别与生成能力，模型在16个下游任务中大部分指标优于SOTA模型，

除了大规模，多模态也是人工智能发展的重要方向，中科院自动化所推出了全球首个三模态大模型：紫东.太初。获得了MM2021视频描述国际竞赛的第一名，ICCV2021视频理解国际竞赛第一名。