论文地址:https://cs.stanford.edu/~danqi/papers/emnlp2014.pdf
论文名称:一种使用神经网络(三层)的精准快速的依存句法分析
特征提取是基于Transition-based Dependency Parsing 基于转移的依存句法分析,从而可以有效精简特征数量
例如:
词特征18个:
1、栈区和缓存区分别提取前三个词 合计6个特征
2、栈区的前两个词分别提取改词的最左端两个词和最右端两个词 合计 8个特征
3、栈区的前两个词的最左的最左和最右的最右,共4个特征
pos特征 同词特征 共18个特征
label特征 同词特征第2、3 条 共12个特征
优点:特征更具有代表性,更稠密,计算更高效
激活选择特殊的立方函数而非sigmoid或tanh:h = (Ww 1 x w + Wt 1x t + Wl 1x l + b1) ^3 各个特征的全组合,更能体现特征
其他跟普通神经网络结构相同如图: