神经网络基础知识
Deep feedforward network
对于输入
x
x
x,神经网络想要找到映射
y
=
f
(
x
;
θ
)
y=f(x;\theta)
y=f(x;θ)和合适的参数
θ
\theta
θ,使得其预测尽量接近于真实函数
f
∗
f^*
f∗。
前馈:所有信息都从输入
x
x
x 经过中间某些计算最终输出到
y
y
y
损失函数
NER
NER问题定义
目的是找到文本中的名字并对其进行分类。有的时候很难判断一个词是不是named entity。
Window Classification
对该词再某一窗口内附近的词对其进行分类(类别是人名、地点、机构名等等)。
例如对于museums in Paris are amazing,希望探测的地点名为Paris。窗口大小为2,通过词向量方法(如word2vec)得到窗口内5个单词的词向量,将这5个向量连在一起得到更大的向量,再对向量进行分类:
Softmax classifier:
x
x
x:输入的词向量;
y
y
y:对应的class,共有
k
k
k 个class;
x
x
x 对应类别为
y
y
y 的概率为:
p
(
y
∣
x
)
=
e
x
p
(
W
y
⋅
x
)
∑
c
=
1
k
e
x
p
(
W
c
⋅
x
)
p(y|x)=\frac{exp(W_{y}\cdot x)}{\sum_{c=1}^{k}exp(W_{c}\cdot x)}
p(y∣x)=∑c=1kexp(Wc⋅x)exp(Wy⋅x)
损失函数为其交叉熵:
为处理输入元素间的非线性关系,利用neural network,输出层为计算的每一个class的概率值。
Reference
[1] https://zhuanlan.zhihu.com/p/61601575
[2] https://zhuanlan.zhihu.com/p/38431213