NLP-读取csv文件

最新推荐文章于 2022-04-30 13:07:12 发布
最新推荐文章于 2022-04-30 13:07:12 发布
阅读量1.4k 收藏 3
点赞数 2
分类专栏： Python NLP之路 文章标签： csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/spring_willow/article/details/80206943
版权
该博客介绍了处理CSV文件的几个步骤，包括理解数据格式，读取文件，更改列名，获取特定列信息以及如何对文件进行分割。在NLP任务中，作者展示了如何处理含有问题对和标注的CSV数据，用于问题相似度计算。
摘要由CSDN通过智能技术生成

赛题：问题相似度计算
网址：金融大脑-金融智能NLP服务

目录

1.数据格式：

行号\t句1\t句2\t标注，举例：1 花呗如何还款 花呗怎么还款 1
行号指当前问题对在训练集中的第几行；
句1和句2分别表示问题句对的两个句子；
标注指当前问题对的同义或不同义标注，同义为1，不同义为0。
这里写图片描述

2.读取文件：

import pandas as pd
data=pd.read_csv('./atec_nlp_sim_train.csv',sef='
最低0.47元/天 解锁文章
spring_willow
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
零基础入门nlp--数据读取与数据分析
beautiful_well的博客
07-21 332
1、通过pandas的read_csv读取数据 #读取数据 import pandas as pd train_df = pd.read_csv(r'Data/nlp/train_set.csv', sep='\t', nrows=100) 显示前5条数据 2、数据分析的三个目标: 赛题数据中，新闻文本的长度是多少？ 赛题数据的类别分布是怎么样的，哪些类别比较多？ 赛题数据中，字符分布是怎么样的？ 句子长度分析 在赛题数据中每行句子的字符使用空格进行隔开，所以可以直接统计单词的个数来得到
csv分词_最全NLP中文文本分类实践（上）——中文分词获取和Word2Vec模型构建
weixin_39827034的博客
11-22 634
1 简介最近在学习NLP的相关知识，想通过实践来加深对所学知识的认知。因此，自己从网上找了一个中文语料库进行尝试。本文的实践内容包括文件的读取、中文分词、词向量表达、模型构建和模型融合。本文所采用的语料库为复旦中文文本分类语料库，包含20个类别。但是，这个网盘里面只有train一个文件夹，我就自己人工把它分成了训练集和测试集。网盘链接:https://pan.baidu.com/s/1833mT2...
对excel分词并保存到csv
11-18
中文分词 [1] 。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂得多、困难得多。
nlp 分析csv文件数据长度的分布情况
JosiahH的博客
08-17 371
原数据有两个标签'label'和'review'，review是中文的评论。对review用jieba进行分词后，再获取文本长度： import jieba import pandas as pd import matplotlib.pyplot as plt train_data = pd.read_csv('../testcnn_lx/train.csv', encoding='utf-8').astype(str) data = [] train_text = train_data['rev
NLP自然语言处理——文本分类之数据集汇总
kobe26366的博客
06-28 6603
文本分类数据集汇总名词解释一、“达观杯”文本智能处理挑战赛数据集1、数据格式2、测试集：test_set.csv数据集二数据集三参考文献 名词解释 （1）脱敏处理 一、“达观杯”文本智能处理挑战赛数据集 “达观杯”文本智能处理挑战赛数据集包含了两个文件，分别是：train_set.csv和test_set.csv。以下是关于这两个数据集的介绍 1、数据格式 2、测试集：test_set.csv 数...
自然语言处理文本分类数据集
最新发布
07-27
自然语言处理（NLP）是计算机科学领域的一个重要分支，它专注于处理和理解人类语言，以便机器能够有效地与人类进行交互。在这个特定的压缩包文件中，包含的是用于文本分类的训练数据集，这对于开发和优化自然语言...
NLP -QtoQ-数据集
04-02
在自然语言处理（NLP）领域，数据集是模型训练和评估的关键组成部分。本文将深入探讨一个名为“NLP-QtoQ”的数据集，它专门用于问答（QtoQ）任务。在机器学习尤其是深度学习中，数据集的质量和规模对模型性能有着...
易语言源码EXCEL另存为CSV文件源码.rar
07-12
易语言是一种专为初学者设计的编程语言，它采用了贴近自然语言的语法设计，使得编程过程更为简单易懂。在给定的压缩包"易语言源码EXCEL另存为CSV文件源码.rar"中，包含的是一个用易语言编写的程序，用于将Excel文件...
NLP-goldenglobes-项目
02-20
【NLP-goldenglobes-项目】是一个利用Python进行自然语言处理（NLP）的实践项目，专注于分析和理解Golden Globes奖项的数据。在这个项目中，开发者将有机会运用Python的相关库，如NLTK（Natural Language Toolkit）...
FE-595-NLP-HW3
04-13
对于本作业的第1部分，我阅读了两个csv文件并打印了这两个文件的标题。 这是为了确定需要进行的任何更改。 我注意到我的文件有一个额外的列，因此我将其删除。 然后，我创建了一个名为“ data”的新变量，并进行了...
所有数据集
06-17
训练集：train.txt 测试集：test.txt 由mnist转为csv数据集：mnist.csv
中英平行语料库（八万对，句粒度）
08-11
共8400多对中英语句，已预处理，中文用jieba分了词，标点符号没问题，保存于en-zh.csv，分隔符是制表符\t（不是默认逗号）。 句粒度，但有不少长句，裁剪后5w对也够用。 原始数据集也在包中，其中en-zh_News.tmx有一部分句子有问题，（en-zh.csv丢弃了有问题的句子），如果必要建议不要直接使用该文件。 另外附赠我对语料的预处理文件（propressor.py），以及数据集（pytorch的Dataset）等相关的实现（LangData.py)。 如果又可以改善的地方，欢迎留言
干货 | 100+个NLP数据集大放送，再不愁数据！
THU数据派
05-02 8952
来源：大数据文摘本文共4270字，建议阅读7分钟。本文为你奉上100多个按字母顺序排列的开源自然语言处理文本数据集列表。奉上100多个按字母顺序排列的开源自然语言处理文本...
【Python+中文NLP】（三）实践篇 ——用户评论文本分类：从中文csv处理到分类
walk_power的博客
10-19 2081
本文为博主心得笔记，如有不足之处，还望包容，代码部分见下方链接。 中文CSV处理 1.Excel的中文表格文件，直接另存为.csv文件 2.解决各种csv用各种代码编辑器出现error的一劳永逸的方法：把.csv文件编码改为utf-8编码方式。 方法：首先，将.csv文件鼠标右击用记事本打开。 然后，文件-另存为。 ...
问题对语义相似度计算-参赛总结
qq_27009517的博客
01-21 3800
from：http://www.zhuzongkui.top/2018/08/10/competition-summary/ 问题对语义相似度计算（从0到0.5+） 短短一个多月的时间，我学到了很多很多东西，从一个呆头小白初长成人。 首先，必须感谢我的导师能给我这个机会从头到尾完整地参加这次比赛，至始至终地为我们出谋划策，和我们探讨问题并答疑解惑，而且提供了各种宝贵的学习资料和服务器资源。 ...
理解CSV格式规范（解析CSV必备）
热门推荐
L.Lawliet的博客
11-06 9万+
什么是CSV CSV的格式规范 参考于CSV in Wikipedia 参考于RFC 4180 参考于CSV Reader
BERT 两种输入数据处理方式
ling620的专栏
07-31 7186
文章目录TFRecord格式写文件读取第一种：TFRecord类型第二种：tf.data.Dataset TFRecord格式 TFRecord内部使用了“Protocol Buffer”** 二进制数据编码** 方案，它只占用一个内存块，只需要一次性加载一个二进制文件的方式即可，简单，快速，尤其对大型训练数据很友好。而且当我们的训练数据量比较大的时候，可以将数据分成多个TFRecord文件，来提...
NLP之文本相似度
miner_zhu的博客
08-13 5861
相似度 相似度度量(从字面上和语义上两方面来度量)：计算个体间相似程度（得到一个分数，通过分数来度量相似度，范围[0,1]）     -文本角度（TF-IDF、LCS）：这件衣服真好看，这件衣服真难看     -语义角度（协同过滤）：真好玩，真有趣     -文本+语义角度（word2vec） 余弦相似度 先介绍文本相似中最常用最简单的方法：余弦相似度。     – 一个向量空间中两个向...
pytorch读取csv数据集
qq_42653159的博客
04-30 1万+
在pytorch中已经包含了许多的内置数据集，我们可以很简单的调用其内置的，但是在现实的过程之中我们往往会使用自己的数据集。这就使得读取自己的数据集并进行训练会有很大的问题。 因此对于csv格式的数据集合，以下图为例 每一份csv文件为一个样本，对应的标签数据也是使用csv格式进行存储。 对于这种情况，我们可以使用重写dataset类来解决这个问题，利用迭代的方式依次读取对应的data和label。 代码如下： class myDataSet(Dataset): def __i.
python 读取csv文件数据并计算每行数据相似性
05-15
要计算每行数据的相似性，你需要使用一些自然语言处理技术来处理文本数据。以下是一个示例代码，可以读取CSV文件，将每行数据转换为文本，并计算它们之间的相似性： ```python import csv from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 读取CSV文件 with open('data.csv', 'r') as csvfile: reader = csv.reader(csvfile) rows = [row for row in reader] # 将每行数据转换为文本 texts = [' '.join(row) for row in rows] # 计算TF-IDF特征向量 vectorizer = TfidfVectorizer() vectors = vectorizer.fit_transform(texts) # 计算余弦相似度 similarities = cosine_similarity(vectors) # 打印相似度矩阵 print(similarities) ``` 这里使用了`TfidfVectorizer`和`cosine_similarity`两个函数来计算相似性。`TfidfVectorizer`将文本转换为TF-IDF特征向量，而`cosine_similarity`计算向量之间的余弦相似度。最后，我们打印相似度矩阵，其中每个元素表示两行数据之间的相似度。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值