基于普通NN的模型 基本的模型如图所示，主要采用基于窗口的方法。embedding layer： 如图，对于中心词“on”来说，根据窗口大小5分别截取前两个词与后两个词。每一个词都有K个特征，Feature 1是词向量特征，Feature 2-K是自定义特征，比如是否都是小写，首字母是否大写等。通过Lookup Table 查找词特征的向量表示，然后将向量连接起来作为神经网络的输入。NN :
普通的NN模型
基本的模型如图所示，主要采用基于窗口的方法。
- embedding layer： 如图，对于中心词“on”来说，根据窗口大小5分别截取前两个词与后两个词。每一个词都有K个特征，Feature 1是词向量特征，Feature 2-K是自定义特征，比如是否都是小写，首字母是否大写等。通过Lookup Table 查找词特征的向量表示，然后将向量连接起来作为神经网络的输入。
- NN : 普通的神经网络，经过一个隐藏层，使用双曲正切激活函数，用softmax函数得到中心词“on”属于各个标签的概率。
训练模型，网络都是通过随机梯度上升来得到训练数据上的最大似然。假如网络中的参数是
最低0.47元/天 解锁文章
2155
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
