论文解读：使用双向注意力流进行机器阅读理解（上）

随着深度神经网络的发展，end2end越来越多被使用在高级的人工智能任务，而阅读理解就是自然语言处理里面的一个重要课题，包括我们英语考试里做的完形填空和短文问答。由于end2end非常依赖于大量的训练集，为此斯坦福大学建立了一个数据集SQuAD并让大家在网站上对此训练集上传模型，并对精确匹配和F1值进行排名，而我国的腾讯和阿里的人工智能实验室有幸上榜。

本文主要是想解读一下艾伦实验室的BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION的模型，跟大家交流一下个人的看法。如同我一向的风格，模型的结构我就不细说了，看论文里面很清楚，我主要说说该模型的一些特点。

第一个特点是本论文在底层的向量化使用了字符和词两个维度。事实上在自然语言处理的技术里面，使用字符还是词作为最小的粒度一直都是研究的方向，理论上，当训练集足够大的时候，使用字符级的网络在陌生词识别、对笔误的包容以及对于人类作品的理解能力要比词的好，但在训练集小的情况下，由于词本身已经有人类工程对字符的组合规律做了规定，基于词的网络显然有更好的表达。在这里要特别提到中文的汉字，由于汉字是形声字，其偏旁部首的组合形式本来就已经蕴含了意义，所以现在阿里也有算法，把汉字的结构纳入到语义向量中，以达到丰富向量的目的。而本论文同时使用两个维度的组合，可以同时获得字符和词两级向量的优势。同时字符级的向量使用了CNN，减少了for循环，加快了运算速度。

第二个特点是在组合字符和词两级向量的时候使用了hig