【文献阅读】StyleBERT: Chinese pretraining by font style information

最新推荐文章于 2024-08-08 07:33:54 发布
最新推荐文章于 2024-08-08 07:33:54 发布
阅读量1.4k 收藏 1
点赞数 2
分类专栏： 文献阅读 文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44343282/article/details/123688814
版权

Abstract

因此在本文中，我们提出了中文预训练语言模型 StyleBERT，它结合了以下嵌入信息来增强语言模型的 savvy，例如单词、拼音、五笔和chaizi（拆字）。

Introduction

大规模预训练模型BERT

文本分类的应用
Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks, 2019.
Chi Sun, Xipeng Qiu, Yige Xu, and Xuanjing Huang. How to fine-tune bert for text classification?, 2020.

中文方面的应用
Haiqin Y ang. Bert meets chinese word segmentation, 2019.
Chen Jia, Y uefeng Shi, Qinrong Yang, and Y ue Zhang. Entity enhanced BERT pre-training for Chinese NER. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 6384– 6396, Online, November 2020. Association for Computational Linguistics. doi:10.18653/v1/2020.emnlp-main.518. URL https://aclanthology.org/2020.emnlp-main.518.

很多作品都将汉字字形信息纳入神经模型，但并没有进行大规模的前训练，

最低0.47元/天 解锁文章
51-13 多模态论文串讲—BEiTv3,Image as a Foreign Language:BEiT Pretraining for All Vision and Vision-Lan论文精读
AIgraphX
01-13 1620
BEIT-3的核心思想是将图像建模为一种语言，这样我们就可以对图像、文本以及图像-文本对进行统一的maskmodeling。Multi-way transformer模型可以有效地完成不同的视觉和视觉语言任务，使其成为通用建模的一个有效选择。同时，本文也对多模态大模型的发展作了一个简单的总结。
【论文阅读】OntoProtein: Protein Pretraining With Gene Ontology Embedding
最新发布
GUANYX的博客
08-23 679
论文阅读：OntoProtein: Protein Pretraining With Gene Ontology Embedding。
【论文泛读148】ChineseBERT：通过字形和拼音信息增强的中文预训练
scu-liu的博客
07-01 1706
贴一下汇总贴：论文阅读记录 论文链接：《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》 一、摘要 最近的中文预训练模型忽略了中文特有的两个重要方面：字形和拼音，它们为语言理解携带重要的句法和语义信息。在这项工作中，我们提出了 ChineseBERT，它将汉字的 {\it glyph} 和 {\it pinyin} 信息合并到语言模型预训练中。字形嵌入是基于汉字的不同字体获得的，能够从视觉特征中捕捉字符语义，
【文献阅读】ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information
九筒的博客
03-16 1340
Abstract 最近的中文预训练模型忽略了中文特有的两个重要方面：字形和拼音，它们携带重要的句法和语义信息，用于语言理解 我们提出了 ChineseBERT，它将汉字的字形和拼音信息结合到语言模型预训练中 字形：汉字的不同字体 字音：汉语拼音（处理多音字） Introduction 由于预训练模型最初是为英语设计的,因此在当前的大规模预训练中缺少两个特定于中文的重要方面：基于字形的信息和基于拼音的信息 对于前者，使中文与英语、德语等语言区分开来的一个关键方面是汉语是一种表意语言。 字符的语标对语义信息进行
【文献阅读】Pre-Training With Whole Word Masking for Chinese BERT
九筒的博客
03-31 1783
Cui Y, Che W, Liu T, et al. Pre-training with whole word masking for chinese bert[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2021, 29: 3504-3514. Abstract 在本文中，我们旨在首先介绍中文 BERT 的全词掩蔽（wwm）策略，以及一系列中文预训练语言模型。然后我们还提出了一个简单但有效的模型，称为 MacB
《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》阅读记录
星垂平野阔
08-08 416
《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》 Zijun Sun, Xiaoya Li, Xiaofei Sun, Yuxian Meng, Xiang Ao, Qing He, Fei Wu and Jiwei Li ACL 2021 https://github.com/ShannonAI/Ch 参考内容：https://zhuanlan.zhihu.com/p/386010496
香侬科技开源Glyce2.0，中文字形增强BERT表征能力
人工智能讲师分享前沿技术
09-06 615
前言 之前，香侬科技发表了基于中文的自然语言处理模型 Glyce1.0，最近，香侬又发布了 Glyce2.0。Glyce2.0 在 Glyce1.0 的基础上将 Bert 和 Glyce 融合，在诸多自然语言处理任务及数据集上取得 SOTA 结果，其中包括： 序列标注 NER 命名实体识别：MSRA、OntoNotes4.0、Resume、Weibo ...
CM-BERT: Cross-Modal BERT for Text-Audio Sentiment Analysis--文献笔记和翻译
qq_42014059的博客
11-30 2107
一篇来自ACM MM2020年关于跨模态-bert模型的文献 ACMMM:ACM Multimedia Conference 领域顶级国际会议，全文的录取率极低，但Poster比较容易。多媒体技术，数据压缩. 文献下载地址： CM-BERT | Proceedings of the 28th ACM International Conference on Multimedia 摘要 多模态情感分析是一个新兴的研究领域，旨在使机器识别，解释和表达情...
嵌入式 装载一个字形图像
skdkjxy的专栏
12-02 1526
3.7.1 把一个字符码转换为一个字形索引 通常，一个应用程序想通过字符码来装载它的字形图像。字符码是一个特定编码中代表该字符的数值。 例如，字符码 64 代表了 ASCII 编码 中的’ A ’ 。 一个 face 对象包含一个 或多个字符 表 (charm ap) ，字符表是 用来转换字 符码到字形 索引的。例 如，很 多 T r u e T ype 字 体包含两个字符表， 一个用来转换 Un
ChineseBERT Chinese Pretraining Enhanced by Glyph and Pinyin Information
yingzi的技术博客
10-06 1576
最近预训练的模型关于中文的忽视了两个重要因素：字形和拼音。它们在语言理解上携带了重要的语法和语义信息。在本文的工作中，我们提出了ChineseBERT，结合汉字的字形和拼音信息。- 字形嵌入是基于不同字体，能够从视觉特征捕获字符语义- 拼音嵌入字符对汉字的发音进行了处理，处理了汉语中常见的同字异义现象（不同发音代表不同含义）
2020 CM-BERT: Cross-Modal BERT for Text-Audio Sentiment Analysis
weixin_44691087的博客
10-07 2014
abstract 多模态情感分析是一个新兴的研究领域，旨在使机器能够识别、解释和表达情感。通过跨模态互动，我们可以得到说话者更全面的情绪特征。来自Transformers(BERT)的双向Encoder表示是一种有效的预训练语言表示模型。通过微调，它在11个自然语言处理任务，如问题回答和自然语言推理上获得了新的最先进的结果。然而，以往的大多数工作都只基于文本数据对BERT进行微调，如何通过引入多模态信息来学习更好的表示仍然值得探索。在本文中，我们提出了跨模态BERT(CM-BERT)，它依赖于文本和音频模态
EMNLP2020信息抽取论文
Hekena的博客
09-10 631
版权声明：本文为CSDN博主「御风而行Carrie」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/carrie_0307/article/details/109066049。
探索BERT在中文NER中的应用：Chinese NER using Bert
gitblog_01104的博客
08-08 716
探索BERT在中文NER中的应用：Chinese NER using Bert BERT-NER-PytorchChinese NER(Named Entity Recognition) using BERT(Softmax, CRF, Span)项目地址:https://gitcode.com/gh_mirrors/be/BERT-NER-Pytorch 在这个数字化的时代，自然语言处理（NL...
【知识图谱】BERT meet KG 第二弹：新训练方式，新问题视角
zenRRan的博客
03-12 649
点击上方，选择星标，每天给你送干货！作者｜周昆（RUC AI Box）机构｜中国人民大学信息学院方向 | 预训练模型、会话推荐系统 去年10月笔者梳理了已有的尝试在BERT中加入知识图谱的...
【nlp论文笔记】 Glyce: Glyph-vectors for Chinese Character Representations
yuexiaomao的博客
10-14 525
Abstract 本文贡献： 我们使用中国历史文字(如青铜器文字、篆书、繁体字等)来丰富文字的象形证据; 设计适合中文字符图像处理的CNN结构(称为天泽-CNN); 将图像分类作为多任务学习的辅助任务，以提高模型的泛化能力。 作者表明，基于符号的模型能够在广泛的中文NLP任务中始终优于基于字/字符的模型。我们能够为各种中文NLP任务设置最新的结果，包括标记(NER、CWS、POS)、句子对分类、单句分类任务、依赖解析和语义角色标记。例如，所提出的模型在NER的OntoNotes数据集上的F.
论文记录
weixin_43835217的博客
07-13 221
ACL 2019: 1.OpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs OpenDialKG 2.An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis Interactive Multi-Task Learning Network 3.O
采用Google预训bert实现中文NER任务
anyi6536的博客
12-22 391
本博文介绍用Google pre-training的bert（Bidirectional Encoder Representational from Transformers）做中文NER（Name Entity Recognition） 第一步： git clonehttps://github.com/google-research/bert.git，存放在 bert文件中 第...
后 BERT 时代的那些 NLP 预训练模型
Paper weekly
08-09 2100
本文介绍对于 BERT 的 Pretraining 过程进行改进的几篇文章，包括Pre-Training with Whole Word Masking for Chi...
论文阅读笔记：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
weixin_44740082的博客
05-23 6843
目录 摘要 1.引言 2.相关工作 2.1Feature-based Approaches 2.2Fine-tuning方法 3 BERT 3.1 Model Architecture 3.2 Input Representation 3.3 Pre-training Tasks 3.3.1 Task #1: Masked LM 3.3.2 Task #2: Next S...
BEVT: BERT Pretraining of Video Transformers –2022cvpr
07-27
C知道: 对于您提到的"BEVT: BERT Pretraining of Video Transformers –2022cvpr"，这似乎是一个标题或者论文的引用。根据引用的信息，它似乎是在2022年的cvpr（计算机视觉与模式识别大会）上介绍的一个名为"BEVT"的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值