Talk预告 | 微信AI高级研究员苏辉：微信AI大规模预训练语言模型WeLM

本期为TechBeat人工智能社区第452期线上Talk！

北京时间11月9日(周三)20:00，微信AI高级研究员——苏辉的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “微信AI大规模预训练语言模型WeLM”，届时将详细讲解微信AI预训练模型 WeLM 的实践经验以及背后的思考。

Talk·信息

▼

主题：微信AI大规模预训练语言模型WeLM 

嘉宾：微信AI高级研究员苏辉

时间：北京时间 11月9日 (周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

点击下方链接，即可观看视频 

TechBeat

Talk·介绍

▼

自 GPT3 以降，NLP大模型进展颇丰。相比小模型，大模型表现出的“零样本/少样本”学习能力众所瞩目。除此之外，在多语言(multilingual)/多任务等角度的探索也正在谱写大模型百家争鸣的新篇章。

本次talk介绍微信AI预训练模型 WeLM 的实践经验以及背后的思考。WeLM, 一个学富五车(well-read)的10 Billion 模型，在零样本以及少样本的情境下能够完成多种 NLP 任务（包括多语言任务），且进一步微调 WeLM 后能达到更好的零样本学习能力。申请API后用户可以利用 WeLM 生产数据/部署应用，让大模型成为真正能落地且实用的工具，让不可能三角变成可能。

• Motivation (为什么要训练一个新的大模型)

• What is WeLM  (WeLM可以做些什么)

• Inside of WeLM  (架构选择/数据/训练细节)

• Application development by Prompting (如何构造好的prompt、如何调用API)

• Multitask Finetuning (多任务Finetuning实践)

• Others and the Future (未来展望)

Talk·预习资料

▼

• WeLM官网  

  https://welm.weixin.qq.com/docs/

• WeLM: A Well-Read Pre-trained Language Model for Chinese  

  https://arxiv.org/abs/2209.10372

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

苏辉

微信AI高级研究员

苏辉，微信高级算法研究员，主要研究方向为大规模预训练语言模型、对话系统、文本摘要、文本对抗/文本鲁棒性；同时负责微信对话系统和微信安全等业务的产品落地；

在学术方面，苏辉在ACL, EMNLP, AAAI等国际知名会议发表20余篇论文，累计引用次数超过1300次，多年担任ACL，EMNLP，AAAI等国际顶级会议的审稿人。他在2018年于中科院软件所获得工学硕士学位。

个人主页：

http://huisu.me/

-The End-

关于TechBeat人工智能社区

▼

TechBeat(TechBeat)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区