- 博客(8)
- 收藏
- 关注
RSS订阅原创 论文阅读Inter-sentence Relation Extraction with Document-levelGraph Convolutional Neural Network
简略本文介绍了一种基于GCNN的RE方法，作者把单词作为节点，依存关系，共指关系等关系信息作为边连接，接着使用带有标签的GCNN对建立的图提取特征，采用基于多实例学习(MIL)的分类方案，最终使用bi-affine pairwise scoring来对关系进行打分并且提取汇总出实体间的关系。
2024-02-29 21:08:23
1299
1
原创 LayoutLMv3
为了克服文本和图像模态预训练目标的差异，促进多模态表示学习，提出了LayoutLMv3，通过统一的文本和图像掩码目标MLM和MIM预训练文档AI的多模态Transformers模型。具体来说，当对应的图像标记没有被掩码时，我们将对齐标签分配给未掩码的文本标记，否则分配一个未对齐的标签。它在transformer模型中联合学习图像文本和多模态表示，具备统一的MLM（掩码），MIM和WPA..这使得LayoutLMv3成为第一个不使用CNN做图像嵌入的多模态预训练文档模型，这大大减少了参数并且避免了区域注释。
2023-11-08 17:12:12
1217
1
原创 LayoutLM:面向文档理解的文本和版面预训练
当代的文档AI处理方法常常建立在深度学习上面，但是通常具有两个局限性：（1）针对具体场景，依赖于少量人类标记的训练样本，没有利用大规模的无标注的训练样本，模型难以泛化到其他的场景或者布局。详细说，通过OCR结果中每个单词的边界框，我们将图像分割成多块，它们和单词具有一一对应的关系。层面输入文本信息主要由文本嵌入和位置嵌入表示，LayoutLM进一步增加了两种类型的输入嵌入：（1）2D位置嵌入，表示token在文档中的相对位置，也就是文档版面的特征（2）图像嵌入，文档图像全局特征和单词级别特征。
2023-10-30 20:35:14
190
1
原创 BERT论文阅读
它就是说有两个前面的工作，一个是ELMo，用的是比较老的RNN，一个是GPT基于transformer，但只能处理单向的信息，所以把ELMo双向的想法和GPT使用的transformer结合在一起就是BERT。给你一段话，问你一个问题，在话中找到答案，找到对应那个小的片段，具体来说就是找到这个词元是不是答案的开头，是不是答案的结尾，就是学习S,E，答案开始的概率和结束的概率。1.基于特征的，类似ELMo，对于每一个下游的任务构造一个任务相关的网络，在预训练好的这些，作为额外的特征，和输入一起输入模型中。
2023-10-23 16:02:43
33
原创 论文阅读 Attention is all you need
这里除了一个根号dk，这是因为dk较大时，两个向量比较长时，做点积的时候这些值可能比较大，之间相对的差距变大，导致softmax后，值最大的更加靠近1，剩下的更加靠近0，也就是说向两端靠拢了，这也就导致了算梯度时梯度较小，会没办法跑动。masked的意义是为了防止在t时间看到了t时间以后的东西，因为注意力机制是可以一次性看到所有的，Qt会一直和k1,k2,k3,,,,kt,,,,kn所有做运算，所以对于Qt和Kt和它之后计算的值，给它设置成一个非常大的负值，然后softmax以后对应的权重就会变成0。
2023-10-22 23:32:57
34
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人