![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读笔记
文章平均质量分 83
Lyttonkeepgoing
这个作者很懒,什么都没留下…
展开
-
SegFormer:Simple and Efficient Design for SemanticSegmentation with Transformers阅读笔记
VIT使用位置编码PE(Position Encoder)来插入位置信息,但是插入的PE的分辨率是固定的,这就导致如果训练图像和测试图像分辨率不同的话,需要对PE进行插值操作,这会导致精度下降。为了解决这个问题CPVT(Conditional positional encodings for vision transformers. arXiv, 2021)使用了3X3的卷积和PE一起实现了data-driver PE。我们认为语义分割中PE并不是必需的。原创 2022-08-22 03:44:50 · 466 阅读 · 0 评论 -
DETR:End-to-End Object Detection with Transformers阅读笔记
我们提出了一种新的方法,将对象检测视为一个直接集预测问题。我们的方法简化了检测流程,有效地消除了许多手工设计组件的需要,如非最大抑制程序或锚定生成,这些组件显式编码了我们关于任务的先验知识。新框架被称为检测Transformer(DEtection TRansformer,简称DETR),其主要组成部分是1.基于集合的全局损耗(提出了一个新的目标函数),通过二分图匹配进行唯一的预测,2.以及Transformer编码器-解码器架构。给定一个固定的小集合的。原创 2022-08-21 16:01:22 · 1067 阅读 · 0 评论 -
A Unified MRC Framework for Named Entity Recognition阅读笔记
论文地址: https://arxiv.org/pdf/1910.11476.pdfgithub:ShannonAI/mrc-for-flat-nested-ner: Code for ACL 2020 paper `A Unified MRC Framework for Named Entity Recognition` (github.com)总结:将ner任务看成mrc(machine reading comprehension)任务 解决实体嵌套问题如 北京大学不仅是一个组织 ..原创 2022-05-12 22:42:32 · 501 阅读 · 0 评论 -
Simplify the Usage of Lexicon in Chinese NER阅读笔记
基于之前Lattice LSTM的问题进行改进 Lattice LSTM虽然达到了SOTA 但是模型结构非常复杂 限制了在工业上的应用 这篇提出了一个简化且高效的模型 融合了词汇信息到字编码中 避免了复杂的序列建模结构 而且对于任何神经NER模型 只需要对字表示层进行微调来引入词汇信息本文提出了两个方法 后者为前者的优化第一个方法 构造exsoftword特征 这种方法能保存所有可能的词典匹配的分词结果{B, M , E, S, O}对应(begin, middle, end, single,原创 2022-05-09 18:59:01 · 670 阅读 · 0 评论 -
Distantly Supervised NER with Partial Annotation Learning and Reinforcement Learning阅读笔记
论文地址:Distantly Supervised NER with Partial Annotation Learning and Reinforcement Learning (aclanthology.org)GitHub:rainarch/DSNER: Distantly Supervised NER with Partial Annotation Learning and Reinforcement Learning (github.com)先翻译再说理解Abstract :在新领原创 2022-05-05 21:02:43 · 459 阅读 · 0 评论 -
Prompt Learning详解
现阶段NLP最火的两个idea 一个是对比学习(contrastive learning) 另一个就是 promptprompt 说简单也很简单 看了几篇论文之后发现其实就是构建一个语言模板 但是仔细想想又觉得复杂 总感觉里面还有很多细节 因此我想从头到尾梳理一下prompt 很多地方会把它翻译成[范式] 但是这个词本身不好理解 我个人更倾向于看作是模板首先我们要知道预训练模型(Bert为首)到底做了什么?我觉得是预训练模型提供了一个非常好的初始化参数 这组参数在预训练任务上的表现非常好(预训.原创 2022-04-15 21:28:37 · 10816 阅读 · 3 评论 -
论文阅读笔记-Glyce: Glyph-vectors for Chinese CharacterRepresentations
论文地址:https://arxiv.org/pdf/1901.10125v5.pdfgithub地址:https://github.com/ShannonAI/glyceAbstract:对于像中文这样的标志图形语言来说,NLP任务应该从这些语言中的符号信息的使用中受益,这是很直观的。然而,由于象形文字缺乏丰富的象形证据,标准计算机视觉模型对文字数据的泛化能力较弱,如何有效地利用象形文字信息还有待探索。在本文中,我们通过预先设置Glyce(汉字的字形向量)来解决这一问题。主要创新有三方面:原创 2022-03-24 11:44:17 · 306 阅读 · 0 评论 -
论文阅读笔记-Lattice: Chinese NER using Lattice LSTM
论文地址:github地址:https://github.com/jiesutd/LatticeLSTMAbstract我们研究了一个格子结构的LSTM模型,该模型对输入的字符序列以及与词库相匹配的所有潜在词汇进行编码。与基于字符的方法相比,我们的模型明确地利用了词和词的序列信息。与基于单词的方法相比,我们的模型明确地利用了单词和词序信息。网格LSTM不会出现分割错误。门控递归单元允许我们的模型从一个句子中选择最相关的字符和词,以获得更好的NER结果。在各种数据集上的实验表明,格子LST原创 2022-03-23 15:20:40 · 1709 阅读 · 0 评论 -
论文阅读笔记-FLAT: Chinese NER using Flat-Lattice Transformer
论文地址:https://arxiv.org/pdf/2004.11795.pdfgithub地址:https://github.com/LeeSureman/Flat-Lattice-Transformer再给大家推一个作者本人的讲解视频 讲的特别透彻【AI TIME PhD】结合词典的中文命名实体识别-李孝男_哔哩哔哩_bilibili还是先把论文过一遍吧 这篇论文里面可能会涉及到Lattice LSTM的内容 这篇论文后续也会仔细研究的 okAbstract工作中提出,命名实.原创 2022-03-22 17:18:29 · 1899 阅读 · 0 评论 -
论文阅读笔记-FGN: Fusion Glyph Network for Chinese Named Entity Recognition
论文地址:paper:https://arxiv.org/ftp/arxiv/papers/2001/2001.05272.pdfgithub地址:github:https://github.com/AidenHuen/FGN-NER主要创新点:1.提出了一种CGS-CNN的新型CNN结构,以获取字形信息和相邻图形之间的交互信息2.我们提供了一种具有滑动窗口和注意力机制的方法来融合每个字符的bert表示和字形表示这种方法可以捕获上下文和字形之间现在的交互知识,在四个误码率数据集上进行的实原创 2022-03-21 18:05:04 · 2675 阅读 · 0 评论 -
最新NER模型及效果调研
我们根据不同的数据集来划分各个模型的得分情况首先是MSRA数据集然后是WEIBOner数据集以及OntoNotes4Resume NER可以看到在Top榜上许多模型存在多次故我们需要调研的为以下模型:FGN Lattice Flat-Lattice Flat Glyce+bertbert-mrc bert-mrc+DSCflat+bertaesinerslk-nerlstm+Lexicon augment...原创 2022-03-18 17:22:40 · 1919 阅读 · 0 评论