机器学习常用问题总结

1：HMM和CRF的共性和区别

（1）相同点：都是用来做序列标注建模的任务，如词性标注。
（2）不同点：
HMM的最大缺点就是其输出独立性假设，导致其不能够考虑上下文的特征，限制了特征的选择；
在每一个节点处都要进行归一化操作，所以只能够找到局部的最优值，同时也带来了标记偏见的问题（label,bias）;
CRF选择上下文相关特性；
不在每一个节点进行归一化，而是对所有特征及逆行全局归一化，可以求得全局的最优值。

2：transformer的Encoder与Decoder层的区别

Decoder层比Encoder层的网络结构多了一层Encoder-Decoder Self-Attention,这一层可以关注到来自Encoder特定的段落信息。Decoder层的结构如下图所示。