Stanford NLP lec 3: NER

1. Baby neural networks

f是激活函数，引入非线性

neural networks do much more than a hyperplane!

2. name entity recognition

把中心词周围某个windows之内的单词对应向量concatenate起来，形成5d维向量。

用最简单的线性分类器方法来解决NER问题：

对于每个样本，用线性方法求其在每个label类的得分，总共有C个得分，分别对应C个类。对其做softmax，得到每个类的预测概率。其损失函数就是cross entropy loss。

当且仅当window的中心词是我们想要的词性时，这个window才会被赋予高分；

其他的window都是corrupt window。corrupt window遍地都是，但true window很少。

原来的向量维度为5d=20，在第二层降到8，最后一层降到1维，代表一个score。这个score在中心词为我们想要的词性时应该大，在中心词不是我们想要词性时应该小。