智能化软件开发微访谈·第三十一期 代码大模型训练、微调与增强·活动预告...

CodeWisdom

代码大模型训练、微调与增强

微访谈 · 活动预告

背景介绍

当前，基于大模型的软件智能化开发已经成为学术界和产业界共同关注的热点话题。商业及开源大模型本身已经将代码生成作为一个重要的基本能力，同时还有大量在通用大模型基础上通过代码数据强化训练获得的代码大模型。另一方面，大量软件企业也在积极探索如何在开源代码大模型基础上加入特定领域的私有代码及文档数据，从而得到更加适应特定企业和领域特点的代码大模型。在此基础上，一些企业还在探索如何将代码大模型与提示工程（Prompt Engineering）、上下文学习（In-Context Learning）、多Agent、检索增强生成（RAG）以及一些后处理技术相结合，从而实现面向自身开发者的定制化编程助手（如IDE插件形式）。那么当前代码大模型训练与微调都采用了哪些技术，各自有什么优缺点？企业在开展面向特定领域的代码大模型微调与定制时需要考虑哪些关键问题，有哪些成功经验？提示工程、上下文学习、多Agent、检索增强以及各种后处理技术与模型微调如何有机结合从而提高代码推荐和生成的成功率？围绕这些问题，本次微访谈邀请了来自学术界和工业界的多位专家，围绕代码大模型训练、微调与增强这一主题展开讨论，总结学术界研究及工业界实践现状、分析相关技术问题、展望未来的发展方向。

主 持 人

彭鑫

复旦大学

复旦大学计算机科学技术学院副院长、教授，教育部长江学者。中国计算机学会杰出会员、软件工程专委会副主任，《Journal of Software: Evolution and Process》联合主编（Co-Editor），《ACM Transactions on Software Engineering and Methodology》、《Empirical Software Engineering》、《Automated Software Engineering》、《软件学报》等期刊编委。2016年获得NASAC青年软件创新奖，2023年入选上海市东方英才拔尖项目。主要研究方向包括软件智能化开发、云原生与智能化运维、泛在计算软件系统、智能网联汽车基础软件等。研究工作多次获得IEEE Transactions on Software Engineering年度最佳论文奖、ICSM最佳论文奖、ACM SIGSOFT杰出论文奖、IEEE TCSE杰出论文奖等奖项。担任2022年与2023年CCF中国软件大会（ChinaSoft）组织委员会主席与程序委员会共同主席，以及ICSE、FSE、ASE、ISSTA、ICSME、SANER等会议程序委员会委员。

访

谈

嘉

宾

李戈

北京大学

北京大学计算机学院长聘教授，博士生导师，教育部长江学者。研究方向：程序生成、程序理解、深度学习，是国际上“基于深度学习的程序处理”方面的先驱性研究者，多项成果被国际学者认为是“首创性成果”并被广泛引用。多年来，所带领的研究团队在多项研究任务中一直保持着国际领先结果，是该领域国际知名的研究团队。

张令明

美国伊利诺伊大学香槟分校

美国伊利诺伊大学香槟分校（UIUC）计算机系副教授。主要从事软件工程和机器学习的交叉研究。首次将大模型应用到真实软件系统缺陷漏洞的测试（如TitanFuzz和Fuzz4All等）和修复（AlphaRepair和ChatRepair等），并发布了一系列开源的代码大模型（StarCoder2和Magicoder等）。曾获ACM SIGSOFT Early Career Award、NSF CAREER Award、UIUC工程学院杰出科研奖、以及谷歌、Meta、三星科研奖等。近年来担任多个国际会议的程序委员会共同主席或者副主席（ASE25、OOPSLA24等），受邀为多个会议和研讨会做主题报告（ISSTA24，湘南会议等），并发起了第一届代码大模型Workshop（LLM4Code24）。详细信息：http://lingming.cs.illinois.edu/

王焱林

中山大学

中山大学软件工程学院助理教授，2022年入选中山大学百人计划。2019年博士毕业于香港大学计算机系，2019~2022年在微软亚洲研究院任研究员、主管研究员。主要研究领域为智能软件工程、大模型。已在ICSE、ISSTA、AAAI、ACL等软件工程及人工智能领域的高质量会议和期刊上发表三十余篇学术论文。在多个国际学术会议如ICSE，ISSTA，FSE等担任程序委员会委员，是TOSEM，TSE，JSS，EMSE等国际期刊的审稿人。

刘名威

中山大学

中山大学软件工程学院副教授，“逸仙学者计划”新锐学者，博士生导师。师从复旦大学彭鑫教授，于2022年获得博士学位，2024年完成博士后研究。主要研究领域为软件智能化开发，包括基于大模型的智能编程和软件开发知识图谱的构建与应用等。在软件工程领域顶级国际期刊和会议（如TSE、TOSEM、ICSE、FSE、ASE等）发表了二十多篇论文，荣获包括IEEE TCSE杰出论文奖（ICSME 2018）和ACM SIGSOFT杰出论文奖（FSE 2023）在内的多项殊荣。更多详情请访问个人主页：https://mingwei-liu.github.io/。

王翀

南洋理工大学

分别于2023年和2018年从复旦大学获得博士学位和学士学位，现在南洋理工大学任博士后研究员。研究方向为智能化软件工程，致力于应用大模型和知识图谱等前沿智能化技术解决软件开发中的实际问题。多项研究成果已经发表于软件工程领域顶级会议与期刊FSE, ASE, TSE, TOSEM等。曾获得CCF上海市优秀博士论文奖及IEEE杰出论文奖等奖项。

彭超

字节跳动

字节跳动软件工程实验室技术专家。2021年博士毕业于爱丁堡大学并加入字节跳动。研究方向包括LLM4Code、软件测试、程序分析等，主要负责代码模型的评估工作。在ICSE、ASE、FSE、ICSME等会议上发表数篇论文，担任FSE等会议PC成员。

李钟麒

华为

华为云 LLM研发垂域方向研究员，主任工程师，HUAWEI CodeArts Snap代码生成工具模型负责人，pangu-coder核心研究成员，主要研究内容为代研发垂域模型预训练，SFT以及相关下游任务能力对齐与增强。

曹荣禹

阿里巴巴

博士毕业于中国科学院计算技术研究所，阿里巴巴通义实验室算法工程师，研究方向为大模型、代码智能、AI Agents等，主要负责通义灵码的技术构建、模型设计、效果评估等方面，经过产品不断地迭代升级，通义灵码已经成为国内最受欢迎的智能编码助手。在学术上，围绕预训练、文档智能、代码智能等方向发表10+篇国际顶会论文（AAAI/ICDM/CIKM/ICDAR等）。

薛增奎

科大讯飞

科大讯飞效能平台首席技术专家，iFlyCode产品总架构师，研发总监，主导基于代码大模型的提效工具研究与研发，专注于企业内部的效能平台与效能体系建设。长期从事新技术的研究与探索，软件产品架构设计等相关工作。

徐晓强

百度

百度资深工程师、百度Comate架构师

百度代码产品架构师，10+年研发经验，先后负责代码智能、代码托管等产品的架构设计与实现。对DevOps智能化落地、云原生、高可用方向都有深入研究。

王思维

腾讯

腾讯高级算法研究员，大模型代码方向负责人，作为第一负责人从代码数据，代码预训练到代码SFT全链路进行代码效果优化，在多个业务方向落地大模型的代码能力，带领团队围绕代码补全、text2sql、BI分析、代码chat等领域孵化多项智能化服务并规模化落地应用。

时间安排

❖

时间：2024年06月13日（周四）

           晚上21:00-23:00

❖

❖

地点：“智能化软件开发沙龙”微信群

主持人：彭鑫

欢迎关注CodeWisdom，Codewisdom平台由复旦大学软件工程实验室运营，提供智能化软件开发平台及线上沙龙相关资讯，关注可了解更多智能化软件开发的最新消息~