SpellGCN: Incorporating Phonological and Visual Similarities intoLanguage Models

最新推荐文章于 2022-04-14 12:48:21 发布
最新推荐文章于 2022-04-14 12:48:21 发布
阅读量458 收藏
点赞数
分类专栏： 论文阅读 文章标签： 语言模型 bert spellgcn 中文纠错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltochange/article/details/122234494
版权

模型结构图：

创新点：通过图卷积网络改变了分类层的权值W (原来直接使用bert的embedding层权值初始化)

复现结果以及分析：

那么还有什么方法可以更好的融入易混词（混淆集）的相关信息，并且是可迁移到很多不同领域的数据集上呢（可学习）？

旺旺棒棒冰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
滴滴语音交互自然语言理解探索与实践
DiDi_Tech的博客
11-18 6248
桔妹导读：滴滴是一个让出行变得更美好的公司，语音交互作为出行领域最安全，最自然的交互方式在滴滴内部有着广泛的应用前景，目前滴滴语音交互已经应用在智能外呼，司机端，地图，车机系统多个领域中...
SpellGCN:拼写GCN
05-08
拼写GCN 是中文拼写检查的一种方法，它将视觉和形态学知识嵌入到BERT中。 该存储库包含数据，评估和培训脚本。 引文： @inproceedings{DBLP:journals/corr/abs-2004-14166, author = {Xingyi Cheng and Weidi Xu and Kunlong Chen and Shaohua Jiang and Feng Wang and Taifeng Wang and Wei Chu and Yuan Qi}, title={SpellGCN: Incorporating Phonological an
论文解读：SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese S
夏栀的博客
09-12 1210
论文解读：SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check（2020ACL） 简要信息： 序号 属性 值 1 模型名称 SpellGCN 2 所属领域 自然语言处理 3 研究内容 中文拼写纠错 4 核心内容 语言模型、图神经网络 5 GitHub源码 https://github.com/ACL2020Spel
SpellGCN学习
雾里闹的博客
09-07 2857
SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check paper code 这个是2020年蚂蚁金服在ACL上的一篇论文，主要思路是使用GCN将发音和形状相似的字符的嵌入向量进行融合，然后使用bert作为基模型进行字符级别的分类，最后使用softmax进行目标字符预测。 模型整体由两个模块组成，模块一为SpellGCN，模块二为抽取模型（满足输入
SpellGCN
Jae_q的博客
09-27 809
layout: post title: GCN subtitle: date: 2020-6-27 author: RJ header-img: catalog: true tags: - project GCN 相关论文 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS ABSTRACT We present a scalable approach for semi-supervis.
必读：ICLR 2020 的50篇推荐阅读论文
AI科技大本营
10-30 1万+
来源 |香侬科技本文整理了ICLR2020的相关论文，此次分享的是从Openreview中选取的部分论文，共50篇，其中大部分为NLP相关。文中涉及的相关论文推荐指数与推荐理由仅为个人观点，利益无关，亦不代表香侬科技立场。希望大家可以从中获得启发。推荐指数4.0论文论文1Reducing Transformer Depth on Demand with Structured Dropoutht...
SoRank: Incorporating Social Information into Learning to Rank Models for Recommendation
02-10
SoRank: Incorporating Social Information into Learning to Rank Models for Recommendation
Modern Fortran Explained: Incorporating Fortran 2023 6th Edition
最新发布
04-10
《现代 Fortran 解释》第三版对第二版进行了扩展。 第二版最后四章中包含的内容已合并到正文中，从而在 20 章中对 Fortran 2018 进行了全面、统一的描述。2023 标准现在带来的附加功能，大多是相对而言的 本质上是...
iFORM: Incorporating Find Occurrence of Regulatory Motifs.
02-11
iFORM: Incorporating Find Occurrence of Regulatory Motifs.
中文语法纠错论文解读（一）
热门推荐
ltochange的博客
10-28 1万+
NLPTEA-2017CGED比赛第一名 1.Alibaba at IJCNLP-2017 Task 1: Embedding Grammatical Features into LSTMs for Chinese Grammatical Error Diagnosis Task 相关介绍：http://www.sohu.com/a/206342111_473283 NLPTEA-2...
论文理解（一）树形lstm
ltochange的博客
05-13 1万+
Long Short-Term Memory Over Tree Structures 树结构的lstm中的记忆细胞可以通过递归的过程反映多个孩子及后代的历史信息。孩子节点之间是否有交互（图一）？提供一种特定的方法考虑不同等级上的长距离交互。例如语言和图像的解析结构。 用s-lstm的记忆模块代替递归模型中的组合层，应用在通过语义组合来理解一段文本。句子的语义并不是线性的拼接，他是有结构的。与
论文中的一些数学符号表示
ltochange的博客
06-14 7498
（1）向量的点乘，也叫数量积。结果是一个向量在另一个向量方向上投影的长度，是一个标量。 对于向量aaa和bbb，A=[a1,a2,…an]A=\left[a_{1}, a_{2}, \ldots a_{n}\right] \quadA=[a1​,a2​,…an​]，B=[b1,b2,…bn]B=\left[b_{1}, b_{2}, \ldots b_{n}\right] \quadB=[b1​,b2​,…bn​] A⋅B=∑aibi\mathrm{A} \cdot \mathbf{B}=\sum a...
The Past Mistake is the Future Wisdom: Error-driven ContrastiveProbability Optimization for Chinese
ltochange的博客
04-14 2405
acl2022 中文纠错最新论文
Self-Supervised Curriculum Learning for Spelling Error Correction
ltochange的博客
01-19 2281
半监督课程学习用于中文拼写纠错任务 课程学习(CL) 以一种从易到难的顺序促进模型训练，该方法需要对数据难度和训练细则进行仔细设计。 纠错中得数据的难易程度受许多因素的影响，如句子长度、词的稀缺性和错误的多样性等 论文提出将训练损失作为数据难度的度量(即损失越大的数据越难学习)，并基于训练过程中的损失下降程度来评估模型能力(即损失越小的模型性能越好)。 算法流程如下： 算法步骤： 1. 在原有构造的数据上，训练模型1epoch，得到初始纠错模型 2. 利用初始纠错模型以及如下两个公式计
The Penn Discourse TreeBank 2.0
ltochange的博客
06-09 2137
论文The Penn Discourse TreeBank 2.0 主要介绍了第二版PDTB数据集 摘要 对100万词华尔街日报语料库进行标注，标注其基于词汇的语篇关系（Discourse relations）及其对应的两个arguments，主要包含一下三个部分： （1）语篇关系及其arguments （2）语义标注 （3）归因标注 这里说得可能有点抽象，后面会针对每一个做具体的解释。 注意：Penn Discourse TreeBank （PDTB）数据集与Penn Treebank（PTB）数据集，P
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
ltochange的博客
01-08 2042
Mask-Predict: Parallel Decoding of Conditional Masked Language Models 来源：EMNLP2019 链接：https://arxiv.org/pdf/1904.09324.pdf 代码：https://github.com/facebookresearch/Mask-Predict 动机 大部分的神经机器翻译模型(se...
论文阅读-FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based
ltochange的博客
03-14 1312
来源：爱奇艺EMNLP2019 Workshop 论文：https://aclanthology.org/D19-5522.pdf 代码：GitHub - iqiyi/FASPell: 2019-SOTA简繁中文拼写检查工具：FASPell Chinese Spell Checker (Chinese Spell Check / 中文拼写检错 / 中文拼写纠错 / 中文拼写检查) 目录 模型结构 1. 基于bert掩码语言模型的微调 2. 基于汉字相似度的解码器 汉字相似度 实验结果..
TENER: Adapting Transformer Encoder for Name Entity Recognition
ltochange的博客
08-20 1302
TENER: Adapting Transformer Encoder for Name Entity Recognition 来源：arxiv 链接：https://arxiv.org/pdf/1911.04474.pdf 代码：暂无 动机 Transformer模型以其良好的并行性能力以及出色的效果，被广泛应用于nlp领域的各大任务，例如机器翻译，预训练语言模型等。博客（https://zhuanlan.zhihu.com/p/54743941）也从多个方面，实验论证Tran...
Dynamics of a stochastic rumor propagation model incorporating media coverage and driven by Levy noise ´ 论文仿真代码
06-01
以下是使用MATLAB实现的基于Levy噪声的随机谣言传播模型仿真代码： ``` matlab % 模型参数 N = 1000; % 总人数 I0 = 10; % 初始感染人数 T = 200; % 模拟时长 beta = 0.3; % 传播率 gamma = 0.1;...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旺旺棒棒冰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值