实习点滴（7）--《Investigating LSTM for Punctuation Prediction》论文笔记

        原文地址：http://lxie.nwpu-aslp.org/papers/2016ISCSLP-XKT.pdf

        本文是利用BiLstm（双向Lstm）+CRF模型，对词组间的标点符号进行预测。

        作者首先强调了，递归神经网络(RNN)及其变体在各种序列标签的任务已经显示出优越的性能，例如词性(POS)标签,分块和命名实体识别，韵律边界预测和语言理解。标点符号预测可以被看作是一个典型的序列标签任务。与此同时，作者认为，如果两个都是过去和未来的上下文考虑，标点符号标记更准确；使用一个条件随机域(CRF)层的Lstm可以捕获输出上下文信息,也会有一些性能上的提升。

        BiLstm最大的优点在于：它不仅可以利用上一个的信息，还可以利用下一个的信息。

      所做的贡献：

        1)建议使用双向LSTM(BLSTM)和深度网络架构考虑过去和未来的输入以及模型输入特性和输出标签之间的复杂关系。
        2)调查的上下文建模是否输出标点标签,通过CRF层,可以实现对标点符号的预测性能,如预期的那样在其他序列标签的任务。
        3)通过研究，得出一个结论：一个2层BLSTM模型可以在标点符号生产最先进的性能预测

      模型结构：

                                  

      算法流程：

        对于每个epoch循环：

                对于每个batch循环：

                        (1)BiLstm-CRF正向传播

                        (2)CRF正向传播

                        (3)BiLstm-CRF反向传播

                        (4)更新参数

                结束循环batch

        结束循环epoch

      实验需注意的事项：

        (1)在输入前，进行了数据预处理：把问号、感叹号换成句号；把冒号、分号换成逗号（相当于只预测不打标点、逗号和句号三种情况），其他的符号均删除

        (2)输入是一句话（经过分词之后的）和这句话中每个词语前的标点符号的label

        (3)他们采用的是Mecab-toolkit工具进行分词的

      实验结果：