位置编码——苏剑林博客

因为，要加入位置编码信息，所以，学习位置编码！！！加油

另外，Global的关系（PRGC）和Global pointer的NER，在统一上的使用，继续思考，就是之前的GG的想法！！！
位置编码分为相对位置编码和绝对位置编码

4.14 挣扎了一周！记录一下：
ROPE到底是什么？
其实他是在绝对位置编码的基础上，实现的相对位置编码，整个实现大致呢，就是，先有一个p位置的R矩阵，p*R得到一个向量1，k位置的word embedding向量同样操作，得到一个向量2，向量1和向量2相乘，得到一个score，这个score就相当于attention中的Q *K矩阵的注意力值。接下来，就是attention中的V的相乘，加权求和。

而global pointer中。是什么做的呢？
其实，是做了前面一部分，也就是，score做为了是否为某种类型下的一个实体的判断依据，得到的一个标量值。
但是，在SPAN NER中，是根据实体头尾的实体向量组合成为了实体的表示，之后，加上了实体长度向量（可以理解为实体的相对位置编码向量【0,1，2,3】这种）

纠结了一周 ，怎么说，就是，两个想法各有