近年来人工智能的发展,已经从“大炼模型”逐步迈向了“炼大模型”的阶段,通过设计先进的算法,整合尽可能多的数据,汇聚大量算力,集约化地训练大模型,供大量企业使用,这是必然趋势。
——黄铁军,智源研究院院长
作为以人工智能源头创新为使命的新型研究机构,智源研究院2020年10月正式启动超大规模智能模型“悟道”项目,研发既博大又精深的超大规模训练模型,从更加本质的角度进一步探索通用人工智能。同时,构建大规模智能模型应用生态,推动相关机构和个人开发者基于模型研发各类新型智能应用,服务我国实体经济产业升级。
3月20日,北京智源人工智能研究院举办“智源悟道1.0 AI研究成果发布会暨大规模预训练模型交流论坛”,并发布了“悟道1.0”。
6月1日,在本次智源大会上,唐杰教授将代表整个悟道团队发布“悟道2.0”。而在此之前,来自悟道团队的10名核心成员(分别来自五个实验室)将从实战角度,为大家讲习“预训练大模型”的技术细节。
线上、线下皆免费报名!
详细议程如下:
会议时间:5月31日
会议地点:静宜厅
讲习班主席:
唐杰 - 清华大学,智源研究院副院长
刘知远 - 清华大学,智源青年科学家
时间 |
内容 |
09:00-09:40 |
大规模预训练语言模型简介 报告嘉宾:韩旭 |
09:40-10:20 |
大规模半精度训练 报告嘉宾:张正彦 |
10:20-10:40 |
茶歇 |
10:40-11:20 |
大规模预训练模型3D加速 报告嘉宾:孙桢波 |
11:20-12:00 |
FastMoE开源大规模分布式MoE训练框架 报告嘉宾:裘捷中 |
13:30-14:10 |
P-tuning&# |