大咖云集！首届大模型安全研讨会开启注册，共同探索大模型的安全边界

2024

大模型安全研讨会

LARGE MODEL SAFETY WORKSHOP 2024

简介

Introduction

在人工智能迅猛发展的今日，大模型的开发与部署标志着技术进步的前沿，并开启了一个充满创新与无限可能性的新时代。这些高度复杂的模型正在革新医疗健康、金融服务、交通物流和智能制造等众多行业。然而，随着这些强大技术的普及，我们逐渐认识到伴随而来的巨大责任。

在数据安全方面，大模型常处理涉及敏感信息的数据，如个人身份、健康记录或金融交易数据，这不仅提出了数据保护的挑战，还可能加剧数据泄露的风险。在内容安全方面，由于大模型输出的内容可能影响公众意见和行为，确保内容的真实性和适当性极为重要。不当的内容过滤机制可能导致误导信息的传播，甚至被用于信息操控或假新闻的传播。

此外，大模型的伦理风险也不容忽视。模型的决策可能反映出数据集的偏见，进一步放大社会不平等。因此，开发过程中必须考虑算法的公平性、透明性及其可解释性，采取措施如进行伦理审查和提高算法透明度，以缓解这些技术可能带来的负面影响。

为了全面探讨和应对这些挑战，首届大模型安全研讨会（LARGE MODEL SAFETY WORKSHOP 2024）将于 2024 年 7 月 2 日在新加坡卡尔顿酒店（Carlton Hotel Singapore）举行，由新加坡管理大学（Singapore Management University, SMU）的孙军教授主办。

本次研讨会深受新奥尔良对齐研讨会（The New Orleans Alignment Workshop）的启发，致力于深入探索与大模型安全相关的关键议题。本会议旨在全面剖析大模型所带来的广泛挑战与独特机遇，并将探讨一系列确保这些先进技术在多个领域中安全且有效应用的策略。

我们非常荣幸邀请到了来自北美普林斯顿大学、加州大学伯克利分校、杜克大学与芝加哥大学等顶尖学府的多位杰出学者，包括 Prateek Mittal 教授、Neil Gong 教授和 Bo Li 教授等。他们将针对大模型所面临的新型攻击、内容安全、数据安全、风险缓解策略以及道德准则等主题进行深入交流。此外，本次会议还将迎来新加坡政府部门的高层领导及全球领先认证企业的技术专家，共同深度探讨人工智能的治理和合规认证问题。

通过十场富有洞察力的演讲，我们期待为参与者提供一个具有前瞻性和广阔视野的讨论平台。无论你是经验丰富的人工智能从业者还是领域新手，本次研讨会都将提供宝贵的洞见，帮助你在这一变革性技术时代中，优先考虑到安全、伦理与责任问题，从而推动真正的创新。本次研讨会不仅是亚太地区难得一见的大模型安全峰会，也将为推动全球大模型技术的安全发展做出重要贡献。

研讨会主页：

https://llmworkshop.github.io

媒体支持：

PaperWeekly

日程

Schedule

主席

Chairman

Jun Sun 现任新加坡管理大学计算机与信息系统学院的终身教授。他分别于 2002 年和 2006 年在新加坡国立大学获得计算科学学士和博士学位。2011 年至 2012 年期间，他作为访问学者在麻省理工学院开展研究工作。他的主要研究领域涵盖软件工程、形式化方法、计算机安全和人工智能，当前研究工作集中在人工智能的测试与验证技术、自动驾驶系统和信息物理融合系统等方面。他的创新性研究成果已在多个相关领域的顶级期刊与会议上发表，包括 CAV、S&P、USENIX Security、TOSEM、TSE、ICSE、FSE、FM 等。他曾荣获 2020 年ACM SIGSOFT Research Highlight，以及三次 ACM SIGSOFT Distinguished Paper Award（ISSTA 2021、ICSE 2020、ICSE 2018）和 2018 年 TSEBest Paper Award。此外，他还是模型检测器 PAT 的联合创始人。

Gerry Kian Woon Chng 现任德勤网络风险咨询部门的执行董事，专注于网络安全和风险管理。他在网络安全领域拥有超过25年的经验，为客户提供如何在安全和可控环境中采用技术创新的咨询服务。他负责管理网络新兴技术项目，包括解决由技术带来的风险，如算法决策（人工智能/机器学习）。他的其他专业领域包括在信息技术和运营技术领域构建治理、风险和合规项目，以应对私营和公共部门面临的威胁和监管环境。他还负责管理检测与响应服务，帮助客户主动评估其技术环境，并在必要时进行事件响应。此外，他还担任新加坡人工智能技术委员会（AITC）的联合主席。该委员会的成立旨在为新加坡推荐采用相关的国际人工智能标准，支持在必要时开发新的人工智能标准，并提升对人工智能标准的认知。同时，他也是新加坡计算机学会（SCS）认证的人工智能伦理与治理（专家级）专业人士。

嘉宾

Contributor

Prateek Mittal 现任普林斯顿大学电气与计算机工程系教授，于 2012 年在伊利诺伊大学厄巴纳-香槟分校获得博士学位。他广泛研究隐私保护和安全系统，目前主要关注领域包括隐私增强技术（例如匿名通信和统计数据隐私）、对抗性机器学习以及互联网/网络安全。他的研究融合了数据科学、网络科学/复杂网络、分布式系统和应用密码学等多领域技术。其研究成果广泛发表在 USENIX Security、S&P、NDSS、CCS、ICML、ICLR、NeurIPS 等顶级国际会议上。他连续三年获得 Caspar Bowden 隐私增强技术杰出研究奖，并曾获得 ARO 和 ONR 青年研究者计划奖以及 Facebook 机器学习研究奖、IBM 全球杰出学者奖、谷歌教授科研奖、英特尔教授科研奖、思科教授科研奖等殊荣。

Bo Li 现任芝加哥大学计算机科学系副教授。她曾获得 IJCAI 计算机与思想奖、Alfred P.Sloan 研究奖学金、美国国家科学基金会杰出青年奖、AI's 10 to Watch、麻省理工学院科技评论 35 岁以下科技创新奖、院长卓越研究奖、C.W. Gear 杰出学者奖、英特尔新星奖、赛门铁克研究实验室奖学金、EECS 新星奖，以及来自亚马逊、Meta、谷歌、英特尔、微软研究院、eBay 和 IBM 等科技公司的研究奖项。此外，她还在多个顶尖的机器学习和安全领域会议上获得了最佳论文奖。她的研究专注于可信机器学习的理论与应用，涉及机器学习、安全、隐私和博弈论的交叉领域。她已开发多个针对鲁棒学习和隐私保护数据发布系统的可扩展框架。她的工作还曾被《自然》、《连线》、《财富》和《纽约时报》等主流媒体广泛报道。

Pang Wei Koh 现任华盛顿大学艾伦计算机科学与工程学院助理教授，并在艾伦人工智能研究所（AI2）担任客座研究科学家。他致力于研究构建可靠机器学习系统的理论与实践，已在《自然》和《细胞》等顶级学术期刊上发表研究成果，并得到了《纽约时报》和《华盛顿邮报》等主流媒体的关注与报道。他曾获得麻省理工学院科技评论亚太区 35 岁以下科技创新奖，并在 ICML 和 KDD 上荣获最佳论文奖。他从斯坦福大学获得计算机科学学士和博士学位，在攻读博士学位之前，他是在线教育平台 Coursera 的第三位员工及合作伙伴关系总监。

Neil Gong 现任杜克大学电气与计算机工程系助理教授，并兼任计算机科学系。他的研究兴趣包括网络安全和可信人工智能。他曾获得美国国家科学基金会杰出青年奖、ARO 青年研究者计划奖、北美计算机华人学者协会新星奖、IBM 全球杰出学者奖、Facebook 研究奖，以及多个最佳论文奖和最佳论文荣誉奖。他是 ACM CCS 2022 机器学习与安全赛道的程序委员会主席。他于 2010 年从中国科学技术大学获得荣誉学士学位，并于 2015 年从加州大学伯克利分校获得计算机科学博士学位。

Mohan Kankanhalli 现任新加坡国立大学计算机学院教务长讲座教授（Provost’s Chair Professor），并担任新加坡国立大学人工智能研究所所长。此外，他还是 AI Singapore（新加坡国家人工智能研发计划）的副执行主席。该计划由新加坡国家研究基金会资助，整合了新加坡所有本地研究机构、人工智能公司和初创企业，旨在共同推进研究并提升研究实力。该计划囊括了人工智能基础研究、关键技术挑战和行业应用研究等多个领域。Mohan 在印度理工学院克勒格布尔分校获得了学士学位，并在美国纽约伦斯勒理工学院获得硕士和博士学位。他的研究兴趣包括多模态计算、计算机视觉和可信人工智能。作为新加坡国立大学人工智能研究所所长，他领导了关于多模态模型和可信机器学习的研究。他还在多媒体计算领域承担领导角色，如担任《ACM Transactions on Multimedia Computing》期刊的资深编辑和《IEEE Multimedia》杂志的副主编。他是世界经济论坛全球未来理事会人工智能委员会成员，也是 IEEE 会士。

Ting Wang 现任纽约州立大学石溪分校计算机科学系副教授兼 Empire Innovation 学者。他此前曾在宾夕法尼亚州立大学信息科学与技术学院担任副教授。他的研究主要集中在机器学习、隐私和安全的交叉领域，致力于开发安全可信的人工智能技术。他的近期工作侧重于从三个关键方面改进人工智能方法和系统：安全保障（抵御恶意操纵）、隐私保护和决策透明度。他的研究成果已在计算机安全和机器学习领域众多顶级国际会议和期刊上发表，并获得多项最佳论文奖以及媒体报道。他于浙江大学获得学士学位，后在乔治亚理工学院完成博士学位。

Sewon Min 即将担任加州大学伯克利分校电气工程与计算机科学系的助理教授。她最近从华盛顿大学获得计算机科学与工程博士学位。她的研究专注于语言模型，包括深入研究语言模型的科学基础，以及设计新的模型类型和学习方法，旨在提升语言模型的性能和灵活性。她还在研究信息检索、法律和隐私环境中的语言模型。她在 ACL 2023 上获得论文奖，曾获摩根大通奖学金，并在 2022 年被评为电气工程与计算机科学专业的新星。此前，她曾在 Meta AI 担任兼职客座研究员，并曾在谷歌和 Salesforce 实习。她从首尔国立大学获得计算机科学与工程学士学位。

Martin Saerbeck 目前担任 TÜV 南德意志集团数字服务首席技术官，负责领导人工智能、机器人技术和物联网技术领域新型数字测试和认证解决方案的战略研发。TÜV 南德意志集团是一家国际领先的测试、认证、检验和培训服务供应商，致力于确保技术、系统和过程的安全性和可靠性。Martin 拥有计算机科学硕士学位及工业设计博士学位，在航空、医疗、制造业和零售业领域应用人工智能方面积累了超过 20 年的经验。作为 ISO/IEC SC42、IEEE SA 和 CEN/CENELEC JTC 21 等多个（新加坡）国内外标准化委员会的编辑和专家贡献者，他在推动人工智能标准化方面发挥了重要作用。他热衷于应用研究，致力于将学术成果转化为实际应用，以增强当今联网智能系统的安全性和可靠性。

Seok Min Lim 于 2014 年在新加坡国立大学获得计算机科学学士学位。自 2021 年 4 月起，她在新加坡资讯通信媒体发展局（IMDA）担任技术研究主管，负责人工治理和信任技术的研发。IMDA 是新加坡政府机构，负责制定和执行国家的资讯通信和媒体政策，致力于推动电信和媒体行业的发展，并促进信息技术和媒体之间的整合与创新。IMDA 旗下的 AI Verify 基金会致力于利用全球开源社区的集体智慧和资源，开发人工智能测试工具，以实现负责任的人工智能，同时推动人工智能领域的最佳实践和标准的建立。Lim 领导了首个人工智能验证工具包原型 Spearheaded 的开发，为测试人工智能模型的设计和工作流程奠定了基础。此外，她还推动了针对传统人工智能模型的鲁棒性、公平性和可解释性等的评估和测试的技术研究和原型开发工作。自 2023 年 9 月至今，她继续推动生成式人工智能模型评估和测试的相关技术研究和原型开发（Moonshot 项目），包括基准测试、越狱技术以及提示注入等领域的工作。

Wan Ding Yao 是新加坡政府技术局（GovTech）的网络安全工程师。他拥有新加坡管理大学的法学（商业科技）学士和计算机科学（数据科学与工程）硕士学位。他在新加坡政府技术局网络安全组担任人工智能安全团队负责人，主导人工智能与网络安全交叉领域的工作，包括为网络安全运营开发人工智能应用原型以及构建人工智能红队（攻击模拟团队）。他已获得新加坡律师协会授予的律师执业资格，并持有 OffSec、CREST、（ISC）²、Practical DevSecOps、MAD20、AWS、Microsoft 和 Google 等机构与企业颁发的多项专业网络安全认证。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·