文本特征处理——N-Gram、长度规范及数据增强

最新推荐文章于 2024-08-20 03:21:11 发布
最新推荐文章于 2024-08-20 03:21:11 发布
阅读量275 收藏
点赞数 1
文章标签： 深度学习 人工智能 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/waywardg/article/details/126565979
版权
NLP特征工程 专栏收录该内容
12 篇文章 5 订阅 ¥9.90 ¥99.00
订阅专栏

目录

0 概述

1 N-Gram特征

2 文本长度规范

3 文本数据增强

0 概述

  • 文本特征处理的作用
    • 文本特征处理包括
      • 语料添加具有普适性的文本特征，如：n-gram特征。
      • 对加入特征之后的文本语料进行必要处理，如：长度规范。
    • 能够有效的将重要的文本特征加入模型训练中，增强模型评低指标。
  •  常见的文本特征处理方法
    • 添加N-Gram特征
    • 文本长度规范

1 N-Gram特征

  • What is N-Gram特征
    • 给定一段文本序列，其中n个词或字的相邻共现特征。即n-gram特征，常用的n-gram特征是bi-gram特征（二元特征）和tri-gram特征（三元特征），分别对应n为2和3。
  • 提取N-Gram特征
# 一般n-gram中的n取2或3，以n取2为例
ngram_range = 2

def create_ngram_set(input_list):
    '''
    description:从数值列表中提取所有的n-gram特征
    :param input_list:输入的数值列表&
了解本专栏 订阅专栏 解锁全文
OR_0295
关注
专栏目录
订阅专栏
【nlp】1.4 文本特征处理（n-gram特征、文本长度规范：补齐与截断）
lys_828的博客
11-13 629
给定一段文本序列, 其中n个词或字的相邻共现特征即n-gram特征, 常用的n-gram特征是bi-gram和tri-gram特征, 分别对应n为2和3.假设给定分词列表: ["是谁", "敲动", "我心"]对应的数值映射列表为: [1, 34, 21]我们可以认为数值映射列表中的每个数字是词汇特征.除此之外, 我们还可以把"是谁"和"敲动"两个词共同出现且相邻也作为一种特征加入到序列列表中,假设1000就代表"是谁"和"敲动"共同出现且相邻。
从零实现深度学习框架——N-Gram语言模型(一)
日积月累，天道酬勤
04-24 3707
主要介绍了N-Gram语言模型的基本知识。
N-gram提取特征
anshiquanshu的专栏
10-12 2323
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。 每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。 例子 比如我们现在使用单元Unigram、二元的Bi-gram和三元的Tri-gram模型来对进行特征提取。 我们的训练样本为： 1）我去了北京天安门 2）我是中国人
深度学习自然语言处理：N-Gram、SimCSE介绍
最新发布
weixin_32637683的博客
08-20 101
1.N-GramN-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram...
N-gram特征提取
12-10
n-gram特征提取是一种很好的方法，提取精度很高，比较好
Pandas-文本特征构造
philosophy
03-18 396
文本特征是指从文本中提取出的有意义的特征，常见的文本特征有词频、tf-idf、n-gram等。在机器学习领域，文本特征是非常重要的一种特征，因为文本数据是一种非常常见的数据形式。本文将从tf-idf、中文分词、类别特征构造法等方面介绍文本特征的相关知识。
基于n-gram的文本分类
05-06
基础文档，曾被国际上多次引用。通过多反面对比了n-gram技术在文字引索中的应用。
NLP：n-gram模型
热门推荐
Puzzle的博客
09-22 1万+
N-Gram N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念。主要有两个重要应用场景： （1）人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。 （2）用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。 习惯上，1-gram叫unigram，2-gram称为bigram，3-gram是trigram。还有four-gram、five-gram等，不过大于n>5的应用很少见。常用的是Bi-gram (N...
word2vec（一）——skip-gram原理理解
qq_31267769的博客
08-28 6052
1 什么是word2vec word2vec顾名思义，就是将词（word）映射到（to）实向量（vector），用一一实数向量表示一个词，也被叫做词嵌入（word embedding），也可以认为词向量是词的特征向量。通过这种词嵌入的方式可以将词语映射为可以计算的数学形式，使计算机对自然的语言的计算变得更加可行，同时也赋予了它一定的数学性质，例如可以用向量的相似度来表示两个词的相似度等等。word2vec可以参考这篇文章中有提到https://blog.csdn.net/qq_31267769/artic
NLP：N-Gram(gram窗口分段再统计)基于概率统计语言模型的简介(包括马尔可夫假设概述)、使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-08 1386
​ NLP：N-Gram(gram窗口分段再统计)基于概率统计语言模型的简介(包括马尔可夫假设概述)、案例应用之详细攻略 目录 N-Gram的简介 N-Gram的使用方法 N-Gram的简介 1、N-Gram(窗口分段再统计)的概述—基于概率统计的语言模型：马尔科夫假设，文本稀疏性/不能长期记忆/泛化能力差/效率高/仍是基础主流 背景 20世纪60年代晚期，IBM的研究员Fred Jelinek贾里尼克及其团队在语音识别任务中进行研究N-gram统计语言模型并应用。Jeline
文本特征处理（n-garm表示方法、长度规范）
IT之一小佬的博客
03-20 1310
文本N-garm表示方法 前面我们说，句子可以用单个字，词来表示，但是有的时候，我们可以用2个、3个或者多个词来表示。 N-gram一组一组的词语，其中的N表示能够被一起使用的词的数量 【准备词语特征的方法】 例如： import jieba text = '深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。' cuted = jieba.lcut(text) print(cuted) cuted_list = [cuted[.
自然语言处理——N-gram模型
liuyider的博客
04-14 2551
NLP相关知识理解整理 文章目录一、N-gram模型简介二、N-gram模型的问题与思考1.数据稀疏2.思考总结 一、N-gram模型简介 N-gram模型属于概率语言模型，其要解决的问题其实很简单，那就是从是否符合自然语言的角度评估一个句子的质量。在这个问题中，句子WWW被建模成词的排列 W=w1,w2,...wnW=w_1,w_2,...w_nW=w1​,w2​,...wn​，所谓质量就就是句子出现的概率，也即该排列出现的联合概率： P(W)=P(w1,w2,...wn)=P(w1)P(w2∣w1.
迁移学习的n-gram特征
互联网知识分享
12-14 175
n-gram特征表示文本中连续的n个词或字符，通过统计不同的n-gram在文本中出现的频次来构建特征向量。在迁移学习中，n-gram特征可以帮助模型学习到通用的语言模式，从而提高模型在目标领域的性能。本文介绍了迁移学习的n-gram特征，并通过代码案例演示了如何使用n-gram特征进行迁移学习。在迁移学习中，可以使用源领域的n-gram特征来帮助目标领域的模型训练。首先，我们使用源领域的数据集训练一个n-gram模型，然后将该模型和特征直接应用于目标领域的数据集，从而实现迁移学习的效果。
九、N-gram语言模型
GUANGZHAN的专栏
09-08 4839
1.语言模型 语言模型的作用是根据文本输入 ，计算文本内容是句子的概率。 2 N-gram模型介绍 2.1 语言模型概念 如果我们有一个由m 个词组成的序列（或者说一个句子），我们希望计算句子的概率。根据链式规则，可得 根据马尔可夫假设可得： 2.2 N-gram模型简介 N-gram模型是一种语言模型（Language Model，LM），语言模型是一个基于概率的判别模型，它的输入是一句话（单词的顺序序列），输出是这句话的概率，即这些单词的联合概率（joint probability）。
n-gram，fasttext，elmo，bert
杰公子的博客
06-30 1264
n-gram n-gram是基于语言模型的算法，基本思想是将文本内容按照子节顺序进行大小为N的窗口滑动操作，最终形成窗口为N的字节片段序列。而且需要额外注意一点是n-gram可以根据粒度不同有不同的含义，有字粒度的n-gram和词粒度的n-gram，顾名思义。 n-gram的第一个特点是某个词的出现依赖于其他若干个词，第二个特点是我们获得的信息越多，预测越准确。我想说，我们每个人的大脑中都有一个N-gram模型，而且是在不断完善和训练的。我们的见识与经历，都在丰富着我们的阅历，增强着我们的联想能力。 N-g
N-gram 特征提取
ouprince
04-26 1万+
N-gram 是一种基于统计语言模型的算法，又被称为一阶马尔科夫链。它的基本思想是将文本里面的内容按照字节进行大小为 N 的滑动窗口操作，形成了长度是 N 的字节片段序列。每一个字节片段称为 gram，对所有的 gram 的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键 gram 列表，也就是这个文本的向量特征空间。列表中的每一种 gram 就是一个特征向量维度。 算法优点： 1...
N-gram特征，浅谈FastText文本分类利器解读（2）
qq_43019117的博客
09-19 5965
知道了FastText原理之后，我们来说说在使用过程中的一些注意事项，到目前为止，FastText有个比较突出的问题，就是丢失了词顺序的信息，因为隐层是通过简单的求和取平均得到的。为了弥补这个不足，FastText增加了N-gram的特征。 何为N-gram特征 为了处理词顺序丢失的问题，FastText增加了N-gram的特征。具体做法是把N-gram当成一个词，也用embedding向量来表示...
文本特征工程之N-Gram
AI深入浅出
12-20 9014
文本特征的选择和提取，是传统文本分类的核心内容。最近在做文本的特征工程构建，陆陆续续搜集到一些公认的对文本表征能力比较强的特征，比如频次法、tf-idf、互信息方法、N-Gram、Word2Vec等，文本特征包含以上这些但也不限于这些。频次法频次法，顾名思义，十分简单。它记录每篇文章的次数分布，然后将分布输入机器学习模型，训练一个合适的分类模型。对这类数据进行分类，需要指出的是：在统计次数分布时，
改进的N-Gram文本特征提取算法提升信息处理效率
本文档探讨了一种创新的文本特征提取算法，其核心在于对N-Gram理论的改进。N-Gram算法是一种统计语言模型，通常用于文本分析，特别是自然语言处理中，通过将连续的词序列分解成不同长度的单元，如单个词（unigram）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OR_0295

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值