![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读
文章平均质量分 77
旺旺棒棒冰
做正确的事,正确得做事
展开
-
论文解读Mask the Correct Tokens: An Embarrassingly Simple Approachfor Error Correction
文本纠错如何利用正确的汉字原创 2023-02-13 17:04:56 · 321 阅读 · 1 评论 -
The Past Mistake is the Future Wisdom: Error-driven ContrastiveProbability Optimization for Chinese
acl2022 中文纠错最新论文原创 2022-04-14 12:48:21 · 2406 阅读 · 3 评论 -
论文阅读-FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based
来源:爱奇艺EMNLP2019 Workshop论文:https://aclanthology.org/D19-5522.pdf代码:GitHub - iqiyi/FASPell: 2019-SOTA简繁中文拼写检查工具:FASPell Chinese Spell Checker (Chinese Spell Check / 中文拼写检错 / 中文拼写纠错 / 中文拼写检查)目录模型结构1. 基于bert掩码语言模型的微调2. 基于汉字相似度的解码器汉字相似度实验结果..原创 2022-03-14 13:11:38 · 1312 阅读 · 0 评论 -
Self-Supervised Curriculum Learning for Spelling Error Correction
半监督课程学习用于中文拼写纠错任务课程学习(CL) 以一种从易到难的顺序促进模型训练,该方法需要对数据难度和训练细则进行仔细设计。纠错中得数据的难易程度受许多因素的影响,如句子长度、词的稀缺性和错误的多样性等论文提出将训练损失作为数据难度的度量(即损失越大的数据越难学习),并基于训练过程中的损失下降程度来评估模型能力(即损失越小的模型性能越好)。算法流程如下:算法步骤:1. 在原有构造的数据上,训练模型1epoch,得到初始纠错模型2. 利用初始纠错模型以及如下两个公式计原创 2022-01-19 11:29:56 · 2281 阅读 · 0 评论 -
SpellGCN: Incorporating Phonological and Visual Similarities intoLanguage Models
模型结构图:创新点:通过图卷积网络改变了分类层的权值W(原来直接使用bert的embedding层权值)复现结果以及分析:原创 2021-12-30 13:19:11 · 458 阅读 · 0 评论 -
中文语法纠错论文解读(一)
NLPTEA-2017CGED比赛第一名1.Alibaba at IJCNLP-2017 Task 1: Embedding Grammatical Features intoLSTMs for Chinese Grammatical Error Diagnosis Task相关介绍:http://www.sohu.com/a/206342111_473283NLPTEA-2...原创 2018-10-28 20:33:45 · 15145 阅读 · 10 评论 -
Improved Word Representation Learning with Sememes
Improved Word Representation Learning with Sememes来自:acl2017网址:https://github.com/thunlp/SE-WRL代码:https://github.com/thunlp/SE-WRLHownet知网(HowNet)的构建秉承还原论思想,即所有词语的含义可以由更小的语义单位构成,而这种语义单位被称为“义原”(Sememe),即最基本的、不宜再分割的最小语义单位。知网构建了包含 2000 多个义原的精细的语义描述体系,并为原创 2021-08-26 11:45:25 · 311 阅读 · 3 评论 -
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks
引入先前研究过的LSTM结构是一个线性链。然而,自然语言有将单词自然地组合成短语的句法特性。标准LSTM详见https://blog.csdn.net/ltochange/article/details/118942985树形lstm论文提出两个树形结构的lstm:the Child-Sum Tree-LSTMthe N-ary Tree-LSTM相比标准的lstm,树形lstm包含多个隐藏状态h和记忆单元c,以二叉树为例:the Child-Sum Tree-LSTM相比于原创 2021-08-24 19:51:40 · 247 阅读 · 0 评论 -
TENER: Adapting Transformer Encoder for Name Entity Recognition
TENER: Adapting Transformer Encoder for Name Entity Recognition来源:arxiv链接:https://arxiv.org/pdf/1911.04474.pdf代码:暂无 动机 Transformer模型以其良好的并行性能力以及出色的效果,被广泛应用于nlp领域的各大任务,例如机器翻译,预训练语言模型等。博客(https://zhuanlan.zhihu.com/p/54743941)也从多个方面,实验论证Tran...原创 2021-08-20 10:19:52 · 1305 阅读 · 0 评论 -
Long Short-Term Memory Over Tree Structures
这里首先要明白两种网络:recursive neural network 递归神经网络:网络是定义在递归树结构上,每一个树结点是从它的孩子计算出来的向量。叶子节点和中间节点自底向上的组合。recurrent neural network 循环神经网络:链式结构,LSTM是循环神经网络的特例。递归神经网络示例,来自论文Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank句子的语义并不是单词的线性原创 2021-07-20 19:57:47 · 450 阅读 · 0 评论 -
论文理解(一)树形lstm
Long Short-Term Memory Over Tree Structures树结构的lstm中的记忆细胞可以通过递归的过程反映多个孩子及后代的历史信息。孩子节点之间是否有交互(图一)?提供一种特定的方法考虑不同等级上的长距离交互。例如语言和图像的解析结构。用s-lstm的记忆模块代替递归模型中的组合层,应用在通过语义组合来理解一段文本。句子的语义并不是线性的拼接,他是有结构的。与原创 2016-05-13 20:07:48 · 10540 阅读 · 0 评论 -
论文中的一些数学符号表示
(1)向量的点乘,也叫数量积。结果是一个向量在另一个向量方向上投影的长度,是一个标量。对于向量aaa和bbb,A=[a1,a2,…an]A=\left[a_{1}, a_{2}, \ldots a_{n}\right] \quadA=[a1,a2,…an],B=[b1,b2,…bn]B=\left[b_{1}, b_{2}, \ldots b_{n}\right] \quadB=[b1,b2,…bn]A⋅B=∑aibi\mathrm{A} \cdot \mathbf{B}=\sum a...原创 2021-06-14 13:28:01 · 7512 阅读 · 1 评论 -
The Penn Discourse TreeBank 2.0
论文The Penn Discourse TreeBank 2.0 主要介绍了第二版PDTB数据集摘要对100万词华尔街日报语料库进行标注,标注其基于词汇的语篇关系(Discourse relations)及其对应的两个arguments,主要包含一下三个部分:(1)语篇关系及其arguments(2)语义标注(3)归因标注这里说得可能有点抽象,后面会针对每一个做具体的解释。注意:Penn Discourse TreeBank (PDTB)数据集与Penn Treebank(PTB)数据集,P原创 2021-06-09 20:03:27 · 2141 阅读 · 1 评论 -
Applying Rhetorical Structure Theory to Student Essays for Providing Automated Writing Feedback
动机作文结构方面的反馈可以帮助写作者建立一个清晰的结构,从而组织好作文中的句子和段落。现有的作文评分的系统有的仅仅得到一个分数。有的只给出单个句子结构反馈,或者反馈不具有改进指导意义论文贡献提供了一个修辞结构理论RST的标注资源包,可以用来标注学生作文强调了修辞结构理论RST自动提供有效作文反馈方面的巨大潜力获得语料虽然已经有修辞结构理论的语料,但是可能和学生作文关系不大。论文从作文自动反馈系统网站重新收集获取了学生英文作文语料标注目标论文认为一篇结构好的作文,应该会在各个部分之间建立原创 2021-06-04 20:56:34 · 151 阅读 · 0 评论 -
Felix: Flexible Text Editing Through Tagging and Insertion (2020-03)
论文地址:https://arxiv.org/pdf/1911.03829.pdf除了翻译之外,对大部分的序列到序列任务,其目标句子和源句子高度重合,比如句子复述、文本摘要、语法纠错等等。因此,有时候不必从头开始生成文本,而是基于源句子一步一步修改到目标句子。论文提出的模型,将文本生成任务转为文本编辑任务,并使用BERT模型进行预测。使用三个单独训练的模块进行处理。首先是一个tagging模型,使用BERT,对输入x进行标注,得到yt。标注类别有KEEP,DEL,INSERT(INS)。源toke原创 2020-05-22 16:59:58 · 577 阅读 · 0 评论 -
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
Mask-Predict: Parallel Decoding of Conditional Masked Language Models 来源:EMNLP2019 链接:https://arxiv.org/pdf/1904.09324.pdf 代码:https://github.com/facebookresearch/Mask-Predict 动机大部分的神经机器翻译模型(se...原创 2020-01-08 15:09:43 · 2045 阅读 · 1 评论 -
Combating Adversarial Misspellings with Robust Word Recognition
Combating Adversarial Misspellings with Robust Word Recognition 来源:ACL2019 链接: https://arxiv.org/pdf/1905.11268.pdf 代码:https://github.com/danishpruthi/Adversarial-Misspellings 动机文本攻防逐渐发展成为一个研...原创 2019-11-19 20:56:56 · 485 阅读 · 0 评论 -
TINYBERT: DISTILLING BERT FOR NATURAL LANGUAGE UNDERSTANDING
TINYBERT: DISTILLING BERT FOR NATURAL LANGUAGE UNDERSTANDING 来源:ICLR 2020 在审 链接:https://arxiv.org/pdf/1909.10351.pdf 代码:暂未公布 动机预训练的语言模型+微调的模式提升了很多nlp任务的baseline,但是预训练的语言模型太过庞大,参数都是百万级别,因此很难应用到实...转载 2019-11-17 23:13:53 · 1188 阅读 · 0 评论 -
论文理解(二)
for very deep convolutional networks for nlp对于nlp中的任务,我们一般会采用RNN(尤其是lstm)和cnn网络,但是相比于计算机视觉中的神经网络是非常浅的。文章提出了一个新的结构,用于文本处理,作用于字符级别上,使用小的convlution和pooling 操作(小,应该指的是卷积核和步长之类)。用了29层卷积层。这是深度卷积网络第一次用于NLP翻译 2016-06-23 16:08:35 · 670 阅读 · 0 评论