2017论文回顾 | Yann LeCun:中英日韩语文本分类通用编码机制(附论文下载)

大数据文摘作品

作者:龙牧雪


今天的头条文章是Nature关于“论文零引用”的研究。2017年,各路AI会议颇多、论文频出,有哪些论文值得关注?它们给这个世界带来了什么样的影响?我们希望这个小栏目的存在,能让论文重新“发声”,得到更多关注。


如果你也有印象深刻的论文,本栏目欢迎你带着对论文的解读投稿,也希望更多论文作者主动联系我们。联系邮箱:zz@bigdatadigest.cn


今年8月,纽约大学教授、Facebook人工智能实验室主任Yann LeCun及其博士生Xiang Zhang在Arxiv上发表了论文“何种编码机制最适合中文、英语、日语、韩语的文本分类?”



他们首次对37种现有编码方法进行了系统性研究,使用到14个多语言数据库(共473个模型),数据集来自中国在线餐饮评论网站dianping.com,日本在线购物网站rakuten.co.jp,韩国在线购物网站11st.co.kr和“纽约时报”等网站,样本量超过1000万。


最终,性能最佳的是字符级5-gram fastText模型。fastText是Facebook AI实验室开发的一种开源方法。


他们的研究让多语言文本处理更加高效,对中文、日语和韩语的文本处理也在提醒我们AI研究的全球性。


他们也将开源他们的代码,代码地址:

https://github.com/zhangxiangxiao/glyph




论文第一作者Xiang Zhang的个人主页:

http://xzh.me/


信息来源:Twitter, Medium


论文地址:

https://arxiv.org/abs/1708.02657


也可进入大数据文摘公众号,在后台对话框内回复“glyph”获取论文PDF


公开课推荐

稀牛学院+网易云课堂

隆重推出【人工智能系列公开课】


一线大咖讲师直播互动

解密人工智能热点话题

新年最贴心的AI学习指南!

扫码可参与话题定制


往期精彩文章

点击图片阅读

Yann LeCun说是时候放弃概率论了,因果关系才是理解世界的基石


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值