ex1:中间插入:
flat调研:
其实就是一个类似于LSTM层的东西,打个比方 原先是bert加lstm加crf 现在可以bert加flat加crf,他就是解决了一些过去的 没有引入词汇信息的痛点 词汇信息就是学到一个词 例如重庆 人和药店 之前的自注意力机制学不到这个,这玩意能学到,能并行计算什么什么的,接在bert后面效果好,结构就是一层transformer里面的encoder 还有改进了位置编码 把位置编码多了两个参数 某个实体的head和tail坐标 就这样。
利用了词汇信息呗~
ex2: CRF条件随机场
我们常见的bert后续接CRF的操作,接的都是机器学习里面的线性CRF,其实在机器学习里面,条件随机场分为两种,一种是线性,一种是全局的,但是我们接的都是线性的。
这个条件随机场的的全程应该称之为(时间)条件随机场,机器学习里,一般是Hmm是生成模型,crf是判别模型,判别模型引入条件概率的信息,生成模型是优化联合概率分布,它主要是引入了一个条件概率进去了 让模型学到了限制条件,条件随机,他引入的条件是时间条件,因为crf里面有马尔科夫假设,所以他自然的有时间序列的的东西 ,所以引入了时间条件去限制训练他 相当于引入了一个跟时间相关的条件概率 所以叫(时间)条件随机场。