2024智源大会议程公开丨大模型前沿探索

2024年6月14日-15日，第6届北京智源大会将以线下与线上结合的形式召开，线下会场设在中关村国家自主创新示范区会议中心。2024智源大会再次以全球视野，汇聚年度杰出工作研究者，交流新思想，探讨新思路，引领新前沿。目前已正式开放报名渠道。

北京智源大会倒计时：3 天

论坛议程

论坛主席

李永翔，中国电信人工智能研究院 AI研发中心副总经理

中国电信人工智能研究院 AI研发中心副总经理，作为核心成员参与从0-1组建中国电信人工智能研发队伍，打造完整的图像、语音、语义和多模态核心算法能力，支撑中国电信全网人工智能业务发展；建立基础大模型全栈自研能力，相继开源7B/12B/52B等多个版本语义大模型，发布国内首个支持30种方言自由混说的语音大模型，通过国家网信办算法和产品双备案；带领团队获得18项国际AI顶会竞赛冠亚军，发表高水平论文十余篇，作为技术负责人牵头多项部级重大科技攻关课题。

王业全，智源研究院研究员

王业全，智源研究院研究员，国家“新一代人工智能国家科技重大专项”负责人，FLM团队负责人，清华大学博士，中国人工智能学会具身智能专委会委员，2022年被评为AI 2000全球最具影响力人工智能学者（自然语言处理领域）。近年来，主要从事大模型方面的研究工作，代表成果有 FLM系列模型（Tele-FLM、FLM-101B）、Mu-Scaling、MSG和ATAE-LSTM等。在国际顶级会议发表多项研究成果，谷歌学术引用超3,000次。ATAE-LSTM和RNN-Capsule被PAPER DIGEST评为最具影响力论文，同时多次入选谷歌学术刊物指标榜单。

演讲主题及嘉宾介绍（按照发言先后顺序）

1、全球首个稠密万亿模型揭秘

报告简介：Tele-FLM-1TB 是全球首个低碳的开源多语言万亿稠密语言大模型，由智源研究院和中国电信人工智能研究院共同研发。针对大模型超参敏感、成本极高的关键问题，Tele-FLM-1TB研发了损失预测、生长技术等核心技术，实现了大模型训练零调整，并在892张A800的集群环境中成功实现了万亿稠密模型的成功训练，是全球首个实现了低碳预训练的大模型。Tele-FLM基础模型性能领先，BPB显示其52B中文能力开源模型中最强，优于Qwen1.5-72B和LLAMA3-70B；英文能力接近LLAMA3-70B，优于LLAMA2-70B和LLAMA3-8B；其对话模型性能超过GPT-3.5，语言能力已经接近GPT-4。为了促进社区发展，FLM系列的模型权重、核心技术和训练细节等均全面开源。

王业全，智源研究院研究员

王业全，智源研究院研究员，国家“新一代人工智能国家科技重大专项”负责人，FLM团队负责人，清华大学博士，中国人工智能学会具身智能专委会委员，2022年被评为AI 2000全球最具影响力人工智能学者（自然语言处理领域）。近年来，主要从事大模型方面的研究工作，代表成果有 FLM系列模型（Tele-FLM、FLM-101B）、Mu-Scaling、MSG和ATAE-LSTM等。在国际顶级会议发表多项研究成果，谷歌学术引用超3,000次。ATAE-LSTM和RNN-Capsule被PAPER DIGEST评为最具影响力论文，同时多次入选谷歌学术刊物指标榜单。

2、大模型精细化微调和对齐方案

报告简介：基础语言模型的训练是大模型效果的重要保障，而微调训练和偏好对齐则是帮助大模型更好理解人类指令，同时能够生成更符合人类需要的回复。随着业界对大模型效果提升的进一步需求，对应的微调训练手段以及对齐方案设计也随之越来越精细化。本报告首先介绍在微调训练阶段如何实现自动化的训练数据筛选，以及怎样平衡通用能力训练和重点任务训练产生的互相影响、还有不同任务训练之间的互相影响。其次，本报告会介绍基于迭代式DPO的偏好对齐训练方式，持续优化模型的问答能力。此外，基于上述优化训练的一些应用场景能力建设情况也会对应介绍。

宋双永，中国电信人工智能研究院

中国电信人工智能研究院语义大模型团队负责人，高级算法总监、集团高级专家，博士毕业于中国科学院自动化研究所，读博期间以及毕业后一直从事自然语言处理算法研发工作，目前负责星辰语义大模型和智能对话等算法研发。曾就职于阿里达摩院、京东科技任算法负责人，主导包括京东言犀智能客服系统、阿里店小蜜商家客服平台和阿里小蜜智能情绪分析平台等研发工作。已授权专利4项，已发表SIGIR、WWW、EMNLP在内的各类高水平国内外会议期刊发表文章70余篇，曾分别任中国自动化学会委员、国际顶刊Decision Support Systems副主编、以及20多个顶会顶刊的PC member、Session Chair及审稿人，获得APWeb 2022的Outstanding Paper、第四届大数据体系高峰论坛优秀论文一等奖，PAKDD国际评测第一名，CCF和CCL举办的多个评测的一、二等奖等各类奖项。

3、大小模型协同训练初探

报告简介：以GPT为代表的大模型涌现的机器智能为大小模型协同学习提供了契机。大模型的巨量参数存储了从海量数据中学习到的知识，同时其惊人的意图理解能力和分析推理能力为指导小模型性能提升提供了可能性。本报告将从知识蒸馏和意见咨询两个角度介绍大模型指导小模型算法优化上的研究进展。其中，知识蒸馏方面的进展以大模型回答与解释之间的一致性为指导，优化小模型在NLP相关任务上的表现。意见咨询方面的进展则是指在小模型训练过程中，用预测不确定性挑选难样本向大模型发起咨询，利用大模型的反馈意见增强小模型在图机器学习任务上的表现。

敖翔，中国科学院计算技术研究所

敖翔，博士，中国科学院计算技术研究所副研究员、博士生导师，CCF高级会员，CCF数字金融分会常委、大数据专委执委，CCF YOCSEF总部委员。研究方向为智能金融、数据挖掘与自然语言处理。先后主持国家重点研发项目子课题1项，国家自然科学基金项目3项，CCF-腾讯犀牛鸟科研基金、阿里巴巴AIR计划（获优秀奖），腾讯广告犀牛鸟专项基金、蚂蚁集团金融安全专项基金等10余项科研项目，在IEEE TKDE、KDD、WWW、ICDE、SIGIR、ACL、AAAI、IJCAI等CCF A类期刊和会议发表论文40余篇，谷歌引用2900余次，H-index为28。入选北京市科技新星、中国科学院青促会、微软亚洲研究院“铸星计划”。担任SIGKDD、WWW、SIGIR、ACL、AAAI、IJCAI等学术会议的(高级)程序委员。

4、大模型下的机器学习理论研究反思与机遇

报告简介：机器学习理论涵盖模型表示、优化和泛化三大方向，这些研究方向在传统模型上的一些理论结果能够有效给出模型参数量、数据量以及模型效果之间的渐进关系，然而在以现代深度神经网络为主体的大模型的分析上遭遇了重重挑战。在这个Talk中，我们探讨了以数理分析为主的机器学习理论研究和以实践效果为主的大模型技术发展之间的鸿沟，指出了大模型标准化的统一任务形式，统一学习范式，以及统一的网络架构（如Transformer）为减小理论分析与实践结果的鸿沟提供了机遇，并给出了我们在模型表达能力（如首个含有Layer Normalization层的神经网络的VC维表达能力结果），训练动态性等方面的分析，以及这些分析在指导训练小尺寸多模态大模型 TinyLLaVA 方面的思考和实践。

黄雷，北京航空航天大学人工智能学院副教授

黄雷，北京航空航天大学人工智能学院副教授，前阿联酋起源人工智能研究院研究员。研究主要集中在深度学习训练技术以及理论分析方面，并涵盖机器学习和计算机视觉多个领域。主持科技创新2030新一代人工智能重大项目课题和国家自然科学基金青年基金；在CVPR、NeurIPS、ICML、TPAMI等人工智能领域顶级会议和期刊发表论文四十余篇，包括多篇一作CVPR, ECCV Oral和NeurIPS Spotlight论文，出版英文学术专著一部；主导并发布了小尺寸多模态大模型TinyLLaVA模型及TinyLLaVA Factory开源项目。曾以一作兼通讯作者身份获CVPR 2020最佳论文提名奖。

5、无约束感知理解：从视觉垂域建模到多模态统一与多任务协同

报告简介：无约束条件下各种内外干扰相互耦合，给视觉目标感知理解的建模求解带来极大挑战。本报告首先围绕复杂要素耦合空间属性关系挖掘与识别问题，针对目标视觉观测多变性、属性耦合结构多样性、场景目标复杂多元性等挑战，基于数据和知识混合驱动的深度感知理解思想，提出多模融合学习实例级目标跟踪、要素解耦学习属性级目标识别、因果嵌套学习像素级语义解析等创新，进而结合多源融合、通用模型、多任务/增量学习等拓展延伸，构建面向复杂场景多模态非完整信息融合感知理解的通用模型与方法。

赵健，中国电信人工智能研究院

赵健，中国电信人工智能研究院多媒体认知团队负责人、青年科学家，西北工业大学光电与智能研究院研究员、博导，博士毕业于新加坡国立大学。研究领域包括：多媒体分析、临地安防、具身智能。发表CCF-A类论文60余篇，一作代表作包括2篇T-PAMI（IF: 24.314）、3篇IJCV （IF: 13.369）等，第一发明人授权国家发明专利5项，曾获吴文俊人工智能优秀青年奖（2023）、吴文俊人工智能自然科学奖一等奖（2/5， 2022）、ACM MM'18唯一最佳学生论文奖（一作，1/208， CCF-A类会议），7次在国际重要科技赛事中夺冠。 担任北京图象图形学学会理事，国际知名期刊《Artificial Intelligence Advances》、《IET Computer Vision》编委，《Pattern Recognition Letters》、《Electronics》特刊客座编辑，VALSE资深领域主席。 

6、圆桌讨论

主持人：

王业全 | 智源研究院研究员

圆桌讨论嘉宾：

宋双永 | 中国电信人工智能研究院

敖翔 | 中国科学院计算技术研究所

黄雷 | 北京航空航天大学

赵健 | 中国电信人工智能研究院

即刻扫码注册，参与大会报名

本届大会采用线下与线上模式融合，报名通道已开启，欢迎扫码免费注册。由于线下席位有限，请尽早完成注册，组委会将根据注册次序审核，并在会前发送审核结果通知。公开环节将向注册用户全程线上直播。

大会合作、咨询、赞助欢迎联系：press@baai.ac.cn

大会官网 https://baai.org/l/baai2024