自然语言处理学习

参考：
微软周明：自然语言处理的历史与未来http://zhigu.news.cn/2017-06/08/c_129628590.htm

这张图概括了神经网络机器翻译，简要的说，就是对源语言的句子进行编码，一般都是用长短时记忆LSTM进行编码。编码的结果就是有很多隐节点，每个隐节点代表从句首到当前词汇为止，与句子的语义信息。基于这些隐节点，通过一个注意力的模型来体现不同隐节点对于翻译目标词的作用。通过这样的一个模式对目标语言可以逐词进行生成，直到生成句尾。中间在某一阶段可能会有多个翻译，系统会保留最佳翻译，从左到右持续。这里最重要的技术是**对于源语言的编码，**还有体现不同词汇翻译的，不同作用的注意力模型。