最近,NLP 圈简直不要太热闹!预训练模型频频刷新榜单,让一众研究者、开发者“痛并快乐着”。 自 2018 年 10 月,Google 提出 BERT 以来,NLP 领域预训练模型的发展仿佛坐上了火箭,完全控制不住。 BERT 出世前,大家都在关注着基于 Word Embedding 的 Word2Vec 方法。2017 年 6 月,Google 提出 Transformer 网络,而 2018 年 2 月提出的 ELMO 并没有使用 Transformer;4 个月后,OpenAI 提出的基于 Transformer 的 GPT 预训练模型受到了业界的关注。直到 2018 年 10 月,BERT 的横空出世震动了整个 NLP 领域,一下刷新了 11 项 NLP 任务,成为 NLP 技术发展史上一个里程碑事件。随后,NLP 预训练模型技术的“屠榜”之路便一发不可收拾。 BERT 之后,2019 年 2 月,OpenAI 便发布了 GPT2.0,再次刷爆 NLP 圈。ICML 2019 上微软又提出了一个全新的通用预训练方法MASS,在序列到序列的自然语言生成任务中全面超越BERT和GPT;2019 年 6 月,Google 联合 CMU 发布了碾压 BERT 的 XLNet 模型;2019 年 7 月,榜单再度被刷新,这次荣登榜首的是 Facebook AI 提出的 RoBERTa。 国内学术界和产业界对 NLP 预训练模型技术的跟进也非常迅速。2019 年 3 月百度首次发布适用于中文任务的预训练模型 ERNIE,7 月 31 日,百度发布升级版的 ERNIE 2.0,其在英文任务中也取得了全新突破,并在 16 项中英文任务上超越 BERT 和 XLNet,取得了 SOTA 结果(当前最佳结果)。 BERT 之后,预训练模型技术在飞速发展,不断有新工作提出,简直让不少学习者感叹“这速度简直跟不上啊”!不断更新的新技术将对 NLP 领域产生怎样的影响?这些技术在实际场景中被应用的如何了?取得了哪些应用进展?未来的路又在何方? 也许,BERT 的出现,让大家看到了 NLP 发展的新希望,让更多的开发者入局;也许,还有很多开发者处于观望状态,这一切是否仍然是泡沫?相信大部分人都会有各种各样的疑问,不过有疑问不是坏事,我们正是在不断摸索中前进的。 是否,你的心中有很多疑问,却无处可问,无人可答? 这次,AI科技大本营联合 AI ProCon 2019(AI 开发者大会)为大家准备了独家福利! 什么福利? 说出你的问题,我们将邀请 AI开发者大会(AI ProCon)NLP 论坛的诸位重磅嘉宾为你答疑解惑。
嘉宾阵容
张俊林:
新浪微博机器学习团队 AI Lab 负责人(专题出品人)
刘群:
华为诺亚方舟实验室 语音语义首席科学家
自然语言处理和机器翻译领域的国际著名专家,研究方向包括多语言信息处理、机器翻译模型、方法与评价等。曾任中国科学院计算技术研究所的研究员和自然语言处理研究组负责人;爱尔兰都柏林城市大学教授、爱尔兰ADAPT研究中心(前身CNGL研究中心)自然语言处理主题负责人。带领团队获得 ACL 2019 最佳长论文奖;最初领导研制的ICTCLAS开源系统是应用最广泛的中文词语切分和词性标注工具。在自然语言处理顶级会议和期刊上发表论文60余篇,迄今为止被引用6900余次(GoogleScholar),相关成果获得了北京市科学技术二等奖和国家科技进步二等奖,并授权给很多企业推广应用。刘群教授已培养硕士博士研究生40余人,很多学生已成为一些大学自然语言处理和机器翻译领域的活跃研究人员和一些大型互联网企业的机器翻译团队的负责人。
初敏:
思必驰副总裁、北京研发院院长
周力:
微软小冰全球首席架构师及研发总监
邵浩:
上海瓦歌智能有限公司总经理,狗尾草科技人工智能研究院院长
崔一鸣:
科大讯飞 AI 研究院资深研究员
(最终出席嘉宾以现场为准)
如何参与
如何提问? 扫描下方小助手二维码,加入大会福利交流群”,在群里 @小助手,提出你的问题即可,提问格式: 问题:xxxxx 提问者:(群内昵称)社群福利
扫码添加小助手,回复:大会,加入2019 AI开发者大会福利群,即可参与提问活动!程序猿(媛)们还可以在群内参与七夕拼团活动~~
问题收集时间: 2019 年 8 月 5 日--8 月 12 日
问题解答时间: 2019 年 8 月 12 日--8 月 18 日 答案公布时间: 2019 年 8 月19 日--2019 年 8 月 25 日 答案公布,敬请关注AI科技大本营! 更多精彩内容欢迎大家来到 2019 AI开发者大会(AI ProCon)现场,和各位专家面对面交流~
◆
精彩推荐
◆
60+技术大咖与你相约 2019 AI ProCon!七夕套票,限时三天!速抢进行中......2019 AI开发者大会将于9月6日-7日在北京举行,这一届AI开发者大会有哪些亮点?一线公司的大牛们都在关注什么?AI行业的风向是什么?2019 AI开发者大会,倾听大牛分享,聚焦技术实践,和万千开发者共成长。
推荐阅读
通俗易懂:图解10大CNN网络架构
AI+DevOps正当时
5天破10亿的哪吒,为啥这么火,Python来分析
5G+AI重新定义生老病死
北上深人均月薪超 2 万元,清华近三成毕业生年入 50 万+,5G 人才月薪超 4 万
如何从零开始设计一颗芯片?
在其他国家被揭穿骗子又盯上非洲? 这几个骗子公司可把非洲人民坑苦了…
国内首款 5G 机型开售;Google Chrome 大部分插件无人用;Firefox 69 Beta 9 发布 | 极客头条