自然语言处理中的Character Embedding技术

最新推荐文章于 2022-03-09 14:15:29 发布
最新推荐文章于 2022-03-09 14:15:29 发布
阅读量2.7k 收藏 7
点赞数 4
分类专栏： 自然语言处理【NLP】 文章标签： 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33414271/article/details/116146076
版权

在2013年的时候，Tomas Mikolov提出了word embedding技术来更好的表示一个单词的向量，也就是word2vec，在当时也获得了语法和语义相似度上最好的结果。之后关于doc2vec也被提出来，由此word和doc都有了相应的embedding的方法。如果换个角度想，在比word更细粒度的角度，还有character。这篇文章就来探讨关于character embedding的相关内容。

什么是character embedding？

《Text Understanding from Scratch. 2016. 》【引用量573】这篇文章提出了character CNN，他们发现字符的特征包含了提高模型性能的关键信号。这篇文章在时序卷积神经网络中，利用了字符级别的输入达到了文章抽象理解的效果。使用ConvNets在实体分类，情感分析和文本分类等大型数据集上进行检测。证明了，时间卷积网络可以在不了解人类语言的单词，短语，句法和任何其他句法或语义结构的情况下实现惊人的性能。

文中定义了70个字符，包括26个英文字母、10个数字、33个特殊字符和换行字符。

abcdefghijklmnopqrstuvwxyz0123456789 -,;.!?:’’’/|_@#$%ˆ&*˜‘±=<>()[]{}

在这里插入图片描述

另一方面，Google也发表了《Exploring the Limits of Language Modeling》文章【引用量906】，提出的模型包括256个向量&

最低0.47元/天 解锁文章
土豆洋芋山药蛋
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
17.1 自然语言处理中文本数据增强方法
炫云云
08-20 1756
文章目录1、方法综述2、同义词替换2.1 基于近义词表的替换2.2 基于词向量的替换2.3 MASK语言模型的替换2.4 非核心词替换3、 回译4、 加入随机噪声4.1 改变语法形式4.1.1、单词级别语法变换4.1.2、句子级别的语法树变换4.2、 文本交换4.2.1、单词级别的文本顺序交换4.2.2、句子级别的文本顺序交换4.3、 文本语义相关的噪声4.3.1、 随机删除4.3.2、 随机插入5、 同标签句子文本噪声5.1、 随机插入文本5.2、 随机交叉增强6、Mixup 插值增强7、条件增
自然语言处理NLP星空智能对话机器人系列 第23章 MRC经典的Span Extraction模型Bi-DAF 算法
段智华的博客
11-22 331
第23章：MRC经典的Span Extraction模型Bi-DAF 算法架构、运行机制及数学原理 1，双向Attention Flow：Query2Context、Context2Query数学原理及工程实现 2，Bi-DAF能够正式确立编码-交互-输出三层架构阅读理解模型背后的原因分析 3，Bi-DAF模型本身的五层架构及其背后数学原理解析 4，不同粒度的多阶段Embeddings层的架构设计和数学原理 5，Bonus：多阶段Embeddings在智能对话信息表示中的应用剖析 6，Character E
NLP-03-character embedding（C2W） 阅读笔记
weixin_44285710的博客
08-15 1840
论文题目：Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation 发表期刊：2015-EMNLP 单位：卡纳基美隆大学 1、背景介绍 向量的学习对于自然语言处理的应用非常重要，词向量可以在空间上捕获词之间的语法和语义相似性。【背景介绍】 但是词向量机制中的词和词之间是独立的，这种独立性假设是有问题的，词之间形式上的相似性会一定程度造成功能的相似性，尤..
Tensorflow使用Char-CNN实现中文文本分类（1）
我是小蚂蚁
05-14 1831
前言 在之前的中文文本分类中，使用了LSTM来进行模型的构建（详情参考： Tensorflow使用LSTM实现中文文本分类（2）、使用numpy实现LSTM和RNN网络的前向传播过程）。除了使用LSTM来处理时间序列问题，也可以使用在图像处理领域使用更多的卷积神经网络来处理时间序列问题。 LSTM and Char-CNN 在Char-CNN中，词语embedding的每一列（每一个特征），可以...
【问】word embedding 和character embedding 有何不同？
ZHUJIYAO的博客
07-25 7735
character embedding的获取方式与word embedding的获取方式是否不同？ character embedding如何得到？ 为什么要做 word embedding？  
NLP-词向量(Word Embedding)-2015：C2W模型（Character to Word Embedding）【CharacterEmbedding(字符嵌入)】
u013250861的博客
07-20 1222
自然语言处理(NLP)-文本处理-文本向量化-Character Embedding：C2W
character embeding 和 word embeding的区别
from top to bottom
10-29 458
character embeding是将单词的字符当成一个序列，然后经过cnn或rnn模型训练得到的一个字符向量。 word embeding是一个经过预训练得到的词向量。
从Word2Vec到BERT：上下文嵌入 (Contextual Embedding) 最新综述论文.pdf
03-19
词嵌入表示向量是自然语言处理的重要组成部分。最近来自牛津大学和DeepMind等撰写了关于上下文嵌入表示的综述论文，详述了当前预训练模型的代表性工作等。
自然语言处理中的embeddings
u013596454的博客
09-29 2749
1. 背景 ​ 自2010年代初以来，嵌入一直是自然语言处理（NLP）的主流热词之一。将信息编码成低维向量表示，在现代机器学习算法中很容易集成，这在NLP的发展中起到了核心作用。嵌入技术最初集中在单词上，但很快就开始将注意力转移到其他形式上：从图结构，如知识库，到其他类型的文本内容，如句子和文档。 ​ 接下来，我们会从最初的one-hot开始，探索embddings在nlp领域的发展。 2. 概览 ​ 在embeddings技术出现以前，nlp领域应用较多的是以one-ho
自然语言处理入门：R语言中的文本处理技术详解
# 1. 自然语言处理概述 自然语言处理（Natural Language Processing，NLP）是人工智能和计算机科学领域的一个重要分支，旨在使计算机能够理解、解释...自然语言处理技术在现实生活中有着广泛的应用，例如： - 语音助手
深度学习- 循环神经网络（基础篇）采用词嵌入 Embedding的方式-自用笔记8
qq_42764492的博客
01-25 454
Embedding • One-hot encoding of words and characters • The one-hot vectors are high-dimension. • The one-hot vectors are sparse. • The one-hot vectors are hard coded. • Do we have a way to associate a vector with a word/character with following specificati
NLP基础之——Subword Model
zhangxiaolinxin的博客
06-30 2210
一、word-level Model（基于词级模型） 使用基于单词的模型时需要处理规模庞大的词汇表，例如Word2Vec和 glove，是利用word embedding的方法来得到每一个word的vec，这种方法需要去处理规模庞大的词汇表。 这种方式虽然效果不错，但是对于单词而言，只要稍微做些改变就是另一个单词了。 存在的一些问题： 1.容易出现单词不存在于词汇库中的情况，也就是 OOV(out-of-vocabulary) 2.非正式拼写 3.拼写错误 4.对名字和地名的音译 二、Character-L
字符级卷积神经网络（Char-CNN）实现文本分类--模型介绍与TensorFlow实现
呜呜哈的博客
04-29 4万+
本篇博客主要用于记录“Character-level Convolutional Networks for Text Classification”论文的模型架构和仿真实现方法。这是一篇2016年4月份刚发的文章，在此之前，原作者还发表过一篇“Text Understanding from Scratch”的论文，两篇论文基本上是一样的，不同之处在于后者从写了Introduction部分，然后又补充
命名实体识别
haofengrushi的博客
11-10 6593
诸如中文分词、词性标注、命名实体等问题均属于序列标签标注问题。经典的模型有HMM,MEMM,CRF模型，这些都是比较传统的方法，三种模型各有优劣，HMM模型假设观测独立，不依赖观测之间的序列特征，MEMM虽然加入了观测序列之间的跳转特征，但由于采用了局部归一化引入了标记偏置的问题，最后CRF采用全局归一化从而弥补了HMM和MEMM的缺点，但是计算量却比较大。 随着深度学习的兴起，将DNN模型应用
深度学习：词嵌入Embedding
热门推荐
皮皮blog
07-26 5万+
http://blog.csdn.net/pipisorry/article/details/76095118 词嵌入 词嵌入其实就是将数据的原始表示表示成模型可处理的或者是更dense的低维表示（lz）。 One-hot Embedding 假设一共有个物体，每个物体有自己唯一的id，那么从物体的集合到有一个trivial的嵌入，就是把它映射到中的标准基，这种嵌入叫做On...
用深度学习实现自然语言处理：word embedding，单词向量化
tyler_download的专栏
08-03 1912
前几年，腾讯新闻曾发出一片具有爆炸性的文章。并不是文章的内容有什么新奇之处，而是文章的作者与众不同，写文章的不是人，而是网络机器人，或者说是人工智能，是算法通过分析大量财经文章后，学会了人如何编写财经报道，然后根据相关模式，把各种财经数据组织起来，自动化的生成一篇文章，当人阅读时，根本无法意识到文章不是人写，而是电脑生成的。 从本节开始，如何使用神经网络构造出一个能阅读，理解人类文本含义的智能程...
NLP 学习笔记之 Seq2seq
weixin_41147129的博客
03-09 2004
一 什么是word embedding 词嵌入（Word Embedding）或者分布式向量（Distributional Vectors）是将自然语言表示的单词转换为计算机能够理解的向量或矩阵形式的技术。由于要考虑多种因素比如词的语义（同义词近义词）、语料中词之间的关系（上下文）和向量的维度（处理复杂度）等等，我们希望近义词或者表示同类事物的单词之间的距离可以理想地近，只有拿到很理想的单词表示形式，我们才更容易地去做翻译、问答、信息抽取等进一步的工作。 在Word Embedding之前，常用的方法有on
深度学习：词嵌入（Word Embedding）以及Keras实现
LiQingBB的博客
12-09 6960
深度学习：词嵌入（Word Embedding）以及Keras实现 神经网络无法对原始的文本数据训练，我们需要先将文本数据处理成数值张量，这一过程又叫文本向量化（vectorize） 文本向量化有多种策略： 1.将文本分割为单词，每个单词转换为一个向量 2.将文本分割为字符，每个字符转化为一个向量 3.提取单词或者字符的n-gram，将n-gram转换为一个向量 将文本分解成的单元叫做标记（tok...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值