[ACL2017]Neural Word Segmentation with Rich Pretraining

中文分词的文章，非常有意思

之所以有意思是因为这篇文章将transition-based的方法引入到了neural network, 而且用来分词，当然transition-based用来做parsing的有很多文章，本文的关键问题是如何表示word, P, 和character. 并不是初始化而已，也是本文的创新点，就是pretraining word embedding, P embedding 和 character embedding.
预训练可以看如下图示：

我们以punc.为例，输入序列是５个窗口的字符，输出是判断中间字符之前是否出现标点符号，以此训练字符的embedding, 还有MLP之间的参数

另外需要给出解释的是：
silver data: 非人工标注的语料，可能是已有的工具标注的语料
gold data: 人工标注的语料
在paper的section 4的上面一段的解释：

4个预训练语料的比例是10/1/1/1, 不是句子的混合比例，是instances的混合比例。
punctuation corpus的例子是怎么取的呢？
标点符号之前和标点符号之后两个instance: 正好是正反两个instance