(论文:https://arxiv.org/pdf/1712.02856.pdf
代码和语料:https://github.com/hankcs/multi-criteria-cws ) 自然语言处理,特别是中文处理中,语料库往往珍稀且珍贵。具体到中文分词,也是如此。为了做出一个实用的系统,不光需要高效的算法,大规模语料库也必不可少。然而对于缺乏经费的研究团队和个人,却往往只能得到sighan2005 等屈指可数的几个小型语料库。即便如此,这些语料库的标注规范还互不兼容,无法混合起来训练(我们试验验证了这一点):代码
连同语料库一起开源在 GitHub 上:https://github.com/hankcs/multi-criteria-cws 。 调用脚本只需一两句话,请参考 GitHub 上的说明。 更多细节,请参考论文。结果
我们在标准的 sighan2005 和 sighan2008 上做了实验,在没有针对性调参的情况下依然取得了更高的成绩(当时设备条件简陋,所以在所有数据集上都用了同一套超参数)。所有分值都通过了官方评测脚本的验算。sighan2005
下图的 baseline 是在各个语料库上单独训练的结果,+naive 是合并语料却不加标识符的结果,+multi 是我们提出的联合训练方案的结果。![a34a36730134bac26a6cbedf22409f1f.png](https://i-blog.csdnimg.cn/blog_migrate/499ff688e2d8bf72939e5e10f97f91a0.jpeg)
sighan2008
我们也在标准的 sighan2008 上做了相同的试验,结果是:![a747c8a28a7d2b8ec2ecf6ee2451500b.png](https://i-blog.csdnimg.cn/blog_migrate/217f9e60b543d4e636e0ea0ded13a478.jpeg)
10in1
由于 sighan2008 语料库是收费的,难以获取,没有授权的情况下也无法二次发布。同时我们不希望收费语料库成为阻碍小团队与个人研究者的壁垒,所以我们在10 个公开的语料库上做了额外的试验。 这10个语料库分别是来自 sighan2005 的4份语料库以及![e9ab9452ae20b00a55300f7f098bb416.png](https://i-blog.csdnimg.cn/blog_migrate/6e49c06c0746c7aefe10c84d089d207b.png)
![15c3bc96f3d77dc834c4a4333ee7ae8a.png](https://i-blog.csdnimg.cn/blog_migrate/7b84c5fddd462247fe6339ea00cc80b1.jpeg)
![3d6c1486850d27232b1ef039c507f73c.png](https://i-blog.csdnimg.cn/blog_migrate/13c9f81937c38c4ba7d1ad7204a41a3f.jpeg)
./script/train.sh joint-10in1 --dynet-seed 10364 --python-seed 840868838938890892
除非依赖类库版本变迁,否则应该能够保证复现我们的结果。
我们还考察了这些人工标识符所起的作用,将它们的embedding通过t-SNE可视化出来后,发现几乎没有显著的相似性:
结论
这是一种简单的多标注中文分词解决方案,可以在不增加模型复杂度的情况下联合多个语料库训练单个模型。该方案虽然简单,但的确带来了显著的性能提升(特别是对于小数据集如WTB)。同时我们也注意到特别大的数据集受益很小或无法从中受益(MSR),留作未来研究。我们希望该方法成为多标准中文分词的一个 baseline,或生产系统中的一个物美价廉的拓展。 这是我的第一篇 NLP 论文,肯定有不少错误,欢迎指出。任何语法、拼写、行文上的错误和建议,欢迎留言,我会及时更正。谢谢!鸣谢
感谢在试验器材不足时伸出援手的朋友们,以及对论文和试验施以援手的同学!
感谢那些慷慨地公开了标注语料库的老师与研究者们,这对没有研究经费的小团队而言无疑是雪中送炭!
- Bi-LSTM-CRF 模型的实现参考了 rguthrie3 的 Dynet1.x 版本。
References
X. Chen, Z. Shi, X. Qiu, and X. Huang, “Adversarial Multi-Criteria Learning for Chinese Word Segmentation.,” vol. 1704, p. arXiv:1704.07556, 2017. ↑
William Yang Wang, Lingpeng Kong, Kathryn Mazaitis, and William W Cohen. 2014. Dependency Parsing for Weibo - An Efficient Probabilistic Logic Programming Approach. EMNLP . ↑
Meishan Zhang, Yue Zhang, Wanxiang Che, and Ting Liu. 2014. Type-Supervised Domain Adaptation for Joint Segmentation and POS-Tagging. EACL . ↑
![45933be671cd8347b8f47a67afa4e8ae.png](https://i-blog.csdnimg.cn/blog_migrate/ca3ba97a5349326f47dba60d692ee169.jpeg)
自然语言处理入门指南:
![b18f7f1d8330aef83c0b818d7e6e106c.png](https://i-blog.csdnimg.cn/blog_migrate/6141ca66612ba31d0101c61446e318fe.jpeg)
助你零起点上手自然语言处理
本书作者是自然语言处理类库 HanLP 作者何晗。截至 2019 年 10 月初,该项的 GitHub Star 数已达 15 K,超过了宾夕法尼亚大学的 NLTK、斯坦福大学的 CoreNLP、哈尔滨工业大学的 LTP。作者汇集多年经验,从基本概念出发,逐步介绍中文分词、词性标注、命名实体识别、信息抽取、文本聚类、文本分类、句法分析这几个热门问题的算法原理与工程实现。书中通过对多种算法的讲解,比较了它们的优缺点和适用场景,同时详细演示生产级成熟代码,助你真正将自然语言处理应用在生产环境中。
本文由作者原创授权 AINLP 首发于公众号平台,图灵教育授权转载。![8a6ff1c41fdafbd08fde625b5113a98f.png](https://i-blog.csdnimg.cn/blog_migrate/184a8c4ea55f29d90cfb6567670442b3.jpeg)
☟ 更多深度学习好书