4.文本预处理-pytorch与自然语言处理​

已于 2022-04-15 10:27:48 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： pytorch与自然语言处理 文章标签： python
于 2022-04-14 14:41:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42035862/article/details/124105378
版权

课程链接：Python人工智能20个小时玩转NLP自然语言处理【黑马程序员】_哔哩哔哩_bilibili

？？？？？全是报错，难受死了

文本预处理主要包括的内容：

  • 文本处理的基本方法-分词 词性标注 命名实体识别
  • 文本张量的表示方法-one-hot word2vec WordEmbedding
  • 文本预料的数据分析-标签数量分布 句子长度分布 词频统计与关键词云
  • 文本特征处理-添加n-gram特征 文本长度规范
  • 数据增强方法-回译数据增强方法

目录

一、jieba

二、hanlp

三、命名实体识别（NER任务）

四、词性标注

五、小节

一、jieba

*精确模式分词，切分句子来适用于文本分析（中文繁体分词，jieba也支持！）

import jieba
content="工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"
jieba.cut(content,cut_all=False)#默认是False，表示精确分词
#注意这里返回的是一个生成器的对象，这里如果要看到结果需要使用jieba.lcut()
#精确模式就是每个词都按照我们语言理解的匹配方式匹配
#全模式就是扫描句子中每一个词，都列出来，但是不能消除歧义
jieba.lcut(conten
最低0.47元/天 解锁文章
还我的鸭脖！
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
bert词典构建
霜叶的博客
08-28 2621
参考网址 https://www.yinxiang.com/everhub/note/c9c56496-cc07-4cf3-81d4-ff2a3353272f（bert三种token方式详解） https://github.com/fighting41love/funNLP（各种词库） https://tech.meituan.com/2019/11/14/nlp-bert-practice.html（美团实践） https://blog.csdn.net/u011984148/article...
Pytorch：循环神经网络与文本预处理
Jingmin Wei's Blog
02-04 1304
介绍了两种常用的循环神经网络：LSTM, GRU，讲解了文本预处理方法
pytorch对text数据的预处理
陈陈陈亚萌_的博客
01-25 289
pytorch对text数据的预处理 我们需要把文本数据转化为向量从而可以被神经网络处理。在被喂给神经网络之前，我们需要对text文本数据进行预处理。 关于这一块的预处理，其实有一个很高度抽象化的接口torchtext可以很高效的解决问题，但是有些时候不清楚里面怎么运作的心理总是没谱，所以我一般在写代码的时候都是使用人工自己处理代码。 这个人工手动处理流程代码其实各式各样，我大概是写两个...
pytorch-文本预处理
weixin_42479155的博客
02-13 1060
文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 读入文本 我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。 import collecti...
笔记：动手学深度学习pytorch（文本预处理，语言模型与数据集，循环神经网络）
qq_44138402的博客
02-13 732
- 文本预处理 - 文本 文本是一类序列数据，一篇文章可以看作是字符或单词的序列 - 处理步骤 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 - 读入文本 这里用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。 import collections import re ...
Pytorch学习笔记——文本预处理
01-06
文本预处理 1、概述 文本数据：有用内容和无用内容 文章：单词、符号、空格、乱码等 思想：我们需要对无用信息进行过滤，而计算机无法直接处理单词等有用信息，我们需要把他们转换成数字。将单词映射到不同的数字，可以考虑用列表，如data=[‘ni’, ‘hao’]，我们就可以用data[0]，data[1]来表示 单词内容，这就是索引到单词，然后 ‘ni hao’我们可以表示成’01’，这就是单词到索引，通过建立单词与数字的关系来进行互相的映射，这是文本预处理的核心思想 预处理的步骤： 1、读文本（计算机读取） 2、分词（过滤无用信息） 3、建立字典（建立索引到词的映射） 4、词序列转换成索引序列（
自然语言处理-pytorch-CBOW实验数据集
最新发布
09-22
### 自然语言处理-pytorch-CBOW实验数据集解析 #### 1. CBOW（Continuous Bag of Words）模型简介 CBOW模型是自然语言处理领域中用于词向量化的一种重要方法，它由Google的Mikolov团队提出。CBOW的主要目标是从上...
d2l-zh-pytorch.pdf
02-14
这些模型和算法可以用于图像分类、自然语言处理、语音识别等领域。 8. PyTorch 中的实践：PyTorch 提供了多种实践方法，包括读取数据、数据预处理、模型定义、模型训练和模型评估等。这些实践方法可以 help 用户更...
基于pytorch的谷歌自然语言处理模型BERT代码实现
03-25
在自然语言处理领域，BERT（Bidirectional Encoder Representations from Transformers）是由谷歌研发的一种预训练语言模型，它在多项自然语言理解任务上取得了显著的性能提升。本篇文章将聚焦于如何使用PyTorch这一...
nlp-pytorch-zh：《用PyTorch进行自然语言处理》
02-03
PyTorch自然语言处理 译者： 协议： 所有模型都是错的，但其中一些是有用的。 本书旨在为新人提供自然语言处理（NLP）和深度学习，以涵盖这两个领域的重要主题。这两个主题领域都呈指数级增长。关于一本介绍深度...
Dive-into-DL-PyTorch.rar
06-10
8. **循环神经网络（RNNs）与LSTM**：深入理解序列数据的处理，学习如何构建和训练RNN和LSTM模型，适用于自然语言处理等领域的任务。 9. **自注意力机制与Transformer**：PyTorch支持实现自注意力机制，这是...
pytorch 文本数据数据预处理
hhhhxxn的博客
11-28 1645
可以利用trochtext库中的相关函数对文本数据进行数据预处理 import torch import torch.utils.data as Data from torchvision.datasets import FashionMNIST import torchvision.transforms as transforms from torchvision.datasets import ImageFolder from torchtext import data ##定义文本切分方法，使用空格
Pytorch——拼接与拆分
橙子的博客
04-13 2556
1、cat 拼接 例子：两张成绩单的数据 第一张成绩单是班级1~4的成绩单 第二张成绩单是班级5~9的成绩单 a=torch.rand(4,32,8) #表示四个班级的成绩单 b=torch.rand(5,32,8) #表示五个班级的成绩单 #进行合并 torch.cat([a,b],dim=0).shape #第一个参数表示要合并社么数据，第二个参数表示要合并哪个维度上的数据； #输出结果torch.Size([9,32,8]) 注意：只有需要合并数据的维度的数值可以不一致，其他的数据
Pytorch：拼接与拆分
weixin_62637793的博客
10-26 378
拼接函数：Cat/Stack Cat：（拼接时要注意除了需要拼接的位置，其他维度大小相等） a=torch.rand(4,32,8) b=torch.rand(5,32,8) torch.cat([a,b],dim=0).shape 对于cat（）函数中，dim代表需要拼接的维度，决定了需要拼接的位置。 程序输出为torch.size=（[9,32,8]） 如果再不许拼接操作的维度大小不同，则会出现error。 例 import torch a=torch.rand(4,1,32,32).
[文本处理之使用pytorch文本情感分类
qq_45414803的博客
08-16 622
准备数据 电影评论数据下载地址 将文本数据处理成torch,我们希望可以得到的target是他的评论态度是积极还是消极,将数据分为2500训练,2500测试,这里网址下载的数据数量已经分好了,利用pytorch进行文本处理 ...
使用HanLP进行分词和实体抽取
一位在路上的工程师的博客
07-16 5143
本文记录使用HanLP进行分词和实体抽取的学习过程，包括模型加载、分词和自定义词典、实体抽取和自定义实体词典等步骤。
13.深度学习(词嵌入)与自然语言处理--HanLP实现
mantch
02-19 2951
**深度学习**(Deep Leaming, DL )属于表示学习( Representation Learning )的范畴，指的是利用具有一定“深度”的模型来自动学习事物的向量表示(vectorial rpresenation)的一种学习范式。目前，深度学习所采用的模型主要是层数在一层以上的神经网络。
NLP模型笔记2022-08：hanlp模型API使用方法
源代码杀手的博客
05-27 359
目录hanlp模型API接口手动下载 hanlp模型API接口 安装：pip install hanlp fasttext fasttext bert-for-tf2 py-params params-flow sentencepiece 源码：https://github.com/hankcs/HanLP 如果无法使用就按照这个指定版本号安装其他依赖： install_requires=['tensorflow==2.3.0', 'fasttext==0.9.1', 'bert-for-tf2==
自然语言处理（二）：文本预处理之文本处理的基本方法
GeniusAng的博客
01-02 1561
自然语言处理（二）：文本预处理之文本处理的基本方法
PyTorch入门：自然语言处理实战
1. **自然语言处理基础**：NLP的基本概念，包括文本预处理、词嵌入、序列标注、句法分析和语义理解等。 2. **深度学习原理**：卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值