pytorch对text数据的预处理

最新推荐文章于 2024-03-22 09:37:53 发布
最新推荐文章于 2024-03-22 09:37:53 发布
阅读量288 收藏
点赞数
文章标签： 神经网络 nlp 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34896209/article/details/113731688
版权

pytorch对text数据的预处理

我们需要把文本数据转化为向量从而可以被神经网络处理。在被喂给神经网络之前，我们需要对text文本数据进行预处理。

关于这一块的预处理，其实有一个很高度抽象化的接口torchtext可以很高效的解决问题，但是有些时候不清楚里面怎么运作的心理总是没谱，所以我一般在写代码的时候都是使用人工自己处理代码。

这个人工手动处理流程代码其实各式各样，我大概是写两个版本，之后如果看到不错的，可能还会整理，比如如何处理大数据，不过核心思想是一样的。

大致流程是这样的：

首先：对原始数据(一般是训练数据)进行预处理，进行分词，繁体字转化，半角符号转化

随后：记录各个词汇的词频，过滤低词频词汇，简历Word2index的映射表保存起来，需要注意pad和unk符号

随后：把数据(训练/测试/dev，使用参数进行控制)转化为对应的index，按照最大长度进行补全，并转化为tensor

其次：制造自己的数据集类，改写关键部位，一般是get_item这里，以便被dataloder处理。

转自---pytorch对text数据的预处理-综述

2022年度最佳搬砖户
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
4.文本预处理-pytorch与自然语言处理​
qq_42035862的博客
04-14 1170
课程链接：Python人工智能20个小时玩转NLP自然语言处理【黑马程序员】_哔哩哔哩_bilibili 文本预处理主要包括的内容： 文本处理的基本方法-分词 词性标注 命名实体识别 文本张量的表示方法-one-hot word2vec WordEmbedding 文本预料的数据分析-标签数量分布 句子长度分布 词频统计与关键词云 文本特征处理-添加n-gram特征 文本长度规范 数据增强方法-回译数据增强方法 一、jieba *精确模式分词，切分句子来适用于文本分析
Pytorch：循环神经网络与文本预处理
Jingmin Wei's Blog
02-04 1302
介绍了两种常用的循环神经网络：LSTM, GRU，讲解了文本预处理方法
Pytorch学习笔记——文本预处理
01-06
文本预处理 1、概述 文本数据：有用内容和无用内容 文章：单词、符号、空格、乱码等 思想：我们需要对无用信息进行过滤，而计算机无法直接处理单词等有用信息，我们需要把他们转换成数字。将单词映射到不同的数字，可以考虑用列表，如data=[‘ni’, ‘hao’]，我们就可以用data[0]，data[1]来表示 单词内容，这就是索引到单词，然后 ‘ni hao’我们可以表示成’01’，这就是单词到索引，通过建立单词与数字的关系来进行互相的映射，这是文本预处理的核心思想 预处理的步骤： 1、读文本（计算机读取） 2、分词（过滤无用信息） 3、建立字典（建立索引到词的映射） 4、词序列转换成索引序列（
pytorch-文本预处理
weixin_42479155的博客
02-13 1058
文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 读入文本 我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。 import collecti...
笔记：动手学深度学习pytorch（文本预处理，语言模型与数据集，循环神经网络）
qq_44138402的博客
02-13 731
- 文本预处理 - 文本 文本是一类序列数据，一篇文章可以看作是字符或单词的序列 - 处理步骤 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 - 读入文本 这里用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。 import collections import re ...
Bert-Pytorch-TextClassification-master
08-07
此项目可能包括了数据预处理、模型训练、评估和预测的全套流程。 【标签】"Bert-Pytorch" 指出这个项目主要涉及两个关键组件：BERT和PyTorch。BERT是由Google开发的深度学习模型，其创新之处在于使用了双向...
Pytorch学习记录分享9-PyTorch新闻数据集文本分类任务实战
12-27
在项目的压缩包文件“text”中，可能包含了预处理好的新闻数据集、模型代码以及可能的训练和测试脚本。通过对这些文件的学习和实践，你可以深入理解PyTorch在处理文本分类任务中的应用，从而提升你的NLP技能。记得在...
python基于深度学习框架-PyTorch实战新闻数据集文本分类实战源代码
02-07
接下来，数据预处理是关键步骤。这通常包括分词（tokenization）、去除停用词（stop words removal）、词干提取（stemming）等。在PyTorch中，我们可以利用torchtext的Field类定义数据处理流程。每个Field会指定分词...
word2vec Pytorch实现文本数据
04-04
1. **数据预处理**：读取文件内容，对文本进行分词，去除停用词和其他无关字符。创建词汇表，将词汇映射为整数索引。 2. **构建模型**：根据CBOW或Skip-gram模型定义神经网络结构。在PyTorch中，这通常涉及定义一个...
pytorch实现Text-CNN中文电影评论情感分类源码+数据集.zip
最新发布
05-09
本项目是基于PyTorch框架实现的Text-CNN模型，用于对中文电影评论进行情感分类，提供了完整的源码和数据集，非常适合用作毕业设计或课程设计的参考。 1. Text-CNN模型原理 - 卷积神经网络（CNN）最初应用于图像...
使用pytorch和torchtext进行文本分类的实例
09-18
今天小编就为大家分享一篇使用pytorch和torchtext进行文本分类的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
第一篇:text preprocessing文本预处理
flying_1314的博客
05-30 548
语言是组成式的，对于人类而言，我们需要将长串的文本分割成独立的部分。对于计算机而言，理解语言也是如此。那么预处理就是第一步。
【5】深度学习之Pytorch——如何使用张量处理文本数据集（语料库数据集）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
03-26 1413
在计算机领域，不断崛起的两个领域，一个是CV一个是NLP，下面我们可以探索一下深度学习在NLP的应用和特点。深度学习在自然语言处理（NLP）领域有广泛的应用。以下是一些主要的应用和特点：语音识别：深度学习模型可以通过语音数据训练，学习如何将语音转换为文本。文本分类：深度学习模型可以根据文本内容将文本分为不同的类别。例如，情感分析、主题分类等。机器翻译：深度学习模型可以将一种语言翻译成另一种语言。神经机器翻译是一种基于深度学习的翻译方法。语言生成：深度学习模型可以生成自然语言文本。
【Pytorch神经网络理论篇】 37 常用文本处理工具：spaCy库+torchtext库
小李的研究生学习日记
04-17 9919
在NLP的发展过程中，人们也开发了很多非常实用的工具，这些工具可以帮助开发人员快速地实现自然语言相关的基础处理，从而可以更好地将精力用在高层次的语义分析任务中下面详细介绍该领域中比较优秀的工具。 1 spaCy库 1.1 简介 spacy是一个具有工业级强度的PythonNLP工具包，它可以用来对文本进行断词、短句、词干化、标注词性、命名实体识别、名词短语提取、基于词向量计算词间相似度等处理。 spaCy库里大量使用了Cython来提高相关模块的性能，因此在业界应用中很有实际价值。 1.2...
pytorch之数据处理
qq_45599807的博客
09-16 937
简单总结了一下最近学到的数据处理基础知识。
pytorch实现task2——文本预处理、语言模型和CNN
xh6312643的博客
02-14 314
文本预处理 文本预处理的参考文本为：http://www.gutenberg.org/ebooks/35 文本预处理的实现代码为： ##读入文本 import collections import re def read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', '...
探索PyTorch Text：强大而灵活的自然语言处理库
gitblog_00027的博客
03-22 215
探索PyTorch Text：强大而灵活的自然语言处理库 textModels, data loaders and abstractions for language processing, powered by PyTorch项目地址:https://gitcode.com/gh_mirrors/te/text 是 PyTorch 生态系统中的一个核心组件，专为自然语言处理（NLP）任务设计和...
pytorch 文本数据数据预处理
hhhhxxn的博客
11-28 1644
可以利用trochtext库中的相关函数对文本数据进行数据预处理 import torch import torch.utils.data as Data from torchvision.datasets import FashionMNIST import torchvision.transforms as transforms from torchvision.datasets import ImageFolder from torchtext import data ##定义文本切分方法，使用空格
Pytorch学习笔记（四：Pytorchtext处理数据集）
jiangchao98的博客
03-09 1997
Pytorch学习笔记（四：Pytorchtext处理数据集）（未完） 需进一步更进 首先：讲解一下python语法中的lambda函数 使用lambda的语法是 后面紧跟的是参数 然后接冒号 然后紧跟函数返回值。 #匿名函数 s = "hello world" ans = (lambda x: x.split())(s) print(ans) ''' ['hello', 'world'] ''' #给匿名函数取名字、不再匿名 tokenize = lambda x: x.split()#将
利用GRU模型训练.csv文件数据是5个特征输入，其中一个特征中含有英文字母，利用Pytorch数据预处理该如何实现，代码怎么实现
06-10
在PyTorch中，可以使用`torchtext`库来进行数据预处理。下面是一个基本的数据预处理流程： 1. 导入`torchtext`库和必要的模块： ```python import torchtext from torchtext.vocab import Vectors, GloVe import torch import pandas as pd ``` 2. 定义数据集的字段： ```python text_field = torchtext.data.Field(sequential=True, use_vocab=True, tokenize=lambda x: x.split(), lower=True) label_field = torchtext.data.Field(sequential=False, use_vocab=False) ``` 其中，`text_field`表示输入文本的字段，`label_field`表示标签的字段。 3. 读取数据集并进行预处理： ```python train_data, test_data = torchtext.data.TabularDataset.splits( path='.', train='train.csv', test='test.csv', format='csv', fields=[('text', text_field), ('label', label_field)]) text_field.build_vocab(train_data, vectors=GloVe(name='6B', dim=300)) ``` 其中，`TabularDataset`表示读取csv文件的数据集类，`train`和`test`参数分别指定训练集和测试集的文件名，`fields`参数指定每列的字段名和对应的`Field`对象。`build_vocab`方法用于构建词汇表，`vectors`参数指定词向量的来源，这里使用的是GloVe预训练的词向量。 4. 定义迭代器： ```python train_iter, test_iter = torchtext.data.Iterator.splits( (train_data, test_data), sort_key=lambda x: len(x.text), batch_sizes=(32, 32)) ``` 其中，`Iterator`类用于生成迭代器，`sort_key`参数指定按输入文本的长度排序，`batch_sizes`参数指定批次大小。 5. 将文本中的英文字母转化为小写： ```python text_field = torchtext.data.Field(sequential=True, use_vocab=True, tokenize=lambda x: x.split(), lower=True) ``` 其中，`lower=True`表示将所有英文字母转化为小写。 6. 将特征中含有英文字母的列忽略： ```python train_data, test_data = torchtext.data.TabularDataset.splits( path='.', train='train.csv', test='test.csv', format='csv', fields=[('text', None), ('label', label_field)]) ``` 其中，`None`表示忽略该列。 完整代码如下： ```python import torchtext from torchtext.vocab import Vectors, GloVe import torch import pandas as pd text_field = torchtext.data.Field(sequential=True, use_vocab=True, tokenize=lambda x: x.split(), lower=True) label_field = torchtext.data.Field(sequential=False, use_vocab=False) train_data, test_data = torchtext.data.TabularDataset.splits( path='.', train='train.csv', test='test.csv', format='csv', fields=[('text', None), ('label', label_field)]) train_iter, test_iter = torchtext.data.Iterator.splits( (train_data, test_data), sort_key=lambda x: len(x.text), batch_sizes=(32, 32)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值