自然语言处理（一 神经网络背景介绍）

神经网络NLP

对于自然语言处理技术，传统机器学习算法例如SVM、LR等，对映射到高维空间的文本特征进行处理，大部分应用在文本分类、情感分析等。近年来，一些非线性模型在自然语言处理来领域取得了极大的成功，这里简单介绍一些神经网络的背景知识以及在文本处理中的应用。

神经网络结构

常用于自然语言处理领域的神经网络结构包括：Feed-Forward network, Recurrent network, Recursive network等。
其中Feed Forward神经网络包括全连接的MLP、具有卷积层和池化层的CNN网络。RNN网络包括S-RNN、LSTM、GRU等，Recursive network是结合树模型的神经网络。

文本特征表示

使用神经网络最重要的就是明确输入输出是什么，输入需要量化成数学表示的向量或矩阵，便于神经网络计算。对于文本而言，最传统的表示方式是One-hot表示，即建立一个N维的词典，然后文本中出现某个单词，就用1表示，从而表示这个特征。但这种表示方式不能明确词语之间的相似性，另外还导致特征空间过大，不便于计算。现在出现了各种embedded的方法，就是把主要特征映射到某一特征空间，用向量表示，相似词语在该空间中距离较近，能够明确词语之间的相似性。常见的表示工具有谷歌的word2vec工具。
得到文本的特征表示后，使用神经网络进行文本分类步骤：
（1）针对文本需要划分的输出类，进行相关特征提取；
（2）针对提取的特征（可能是词语、词性、语言模型等），将其数学表示、向量化；
（3）把所有特征的向量表示拼接；
（4）将拼接得到的特征表示输入到神经网络，使用已标记的训练数据集合进行神经网络参数训练

前馈神经网络

全连接MLP网络
1. 网络框架

2.输入输出对应关系
每一个计算单元都是一个感知机，感知机的输入一般表示为
$Input = \sum w_i*x_i +b$，
感知机的输出可以表示为：
$Output = g(Input)$
因此对于上图中输出可以表示为：

3.常见的激励函数
（1）Sigmoid函数

δ(x)