Named Entity Recognition

神经网络基础知识

Deep feedforward network

对于输入 $x$，神经网络想要找到映射 $y=f(x;\theta )$和合适的参数 $\theta$，使得其预测尽量接近于真实函数 $f^{\ast }$。
前馈：所有信息都从输入 $x$ 经过中间某些计算最终输出到 $y$

损失函数

NER

NER问题定义

目的是找到文本中的名字并对其进行分类。有的时候很难判断一个词是不是named entity。

Window Classification

对该词再某一窗口内附近的词对其进行分类（类别是人名、地点、机构名等等）。
例如对于museums in Paris are amazing，希望探测的地点名为Paris。窗口大小为2，通过词向量方法（如word2vec）得到窗口内5个单词的词向量，将这5个向量连在一起得到更大的向量，再对向量进行分类：

Softmax classifier:
$x$：输入的词向量；
$y$：对应的class，共有 $k$ 个class；
$x$ 对应类别为 $y$ 的概率为：
$$p(y|x)=\frac{exp(W_y\cdot x)}{{\sum }_{c=1}^{k}exp(W_c\cdot x)}$$
损失函数为其交叉熵：

为处理输入元素间的非线性关系，利用neural network，输出层为计算的每一个class的概率值。

Reference

[1] https://zhuanlan.zhihu.com/p/61601575
[2] https://zhuanlan.zhihu.com/p/38431213