pd.read_csv()读大文件时行数不对？

xxaxtt

已于 2022-03-20 11:16:12 修改

阅读量1.2k

点赞数

分类专栏： python 文章标签： python pandas

于 2022-03-20 11:13:37 首次发布

本文链接：https://blog.csdn.net/wxgaws/article/details/123609619

版权

python 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

解决方法：设置quoting=csv.QUOTE_NONE参数

import csv

chat = pd.read_csv("f.text",sep = "\t", header = None, usecols = [2], quoting=csv.QUOTE_NONE)

参考：Rows are lost when reading this tab-separated file with pandas read_csv

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xxaxtt

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

pd.read_csv 行数和文件不一致

androiddaren的博客

10-24

996

dataframe

pandas.read_csv——分块读取大文件

I'm zm

05-11

7万+

今天在读取一个超大csv文件的时候，遇到困难：首先使用office打不开然后在python中使用基本的pandas.read_csv打开文件时：MemoryError 最后查阅read_csv文档发现可以分块读取。 read_csv中有个参数chunksize，通过指定一个chunksize分块大小来读取文件，返回的是一个可迭代的对象TextFileReader，IO

参与评论您还未登录，请先登录后发表或查看评论

pandas 用read.csv()读取csv文件后数据总行数减少的解决办法

xue_11的博客

06-29

6696

一、原因当文本文件中带有英文双引号时，直接用pd.read_csv进行读取会导致行数减少，此时应该对read_csv设置参数quoting=3或者quoting=csv.QUOTE_NONE 二、解决办法 import pandas as pd ''' filepath 代表要读取的csv文件，sep代表csv的分隔符，默认是逗号'''' df = pd.read_csv(filepath, sep='\t', dtype=str, quoting=csv.QUOTE_NONE) print(df.

笔记：pd.read_csv()列与title不匹配问题

毛发浓密的猿工

06-03

1308

情况1：当header列数小于数据实际列数时，pd.read_csv()读取后从右向左依次对应数据和header，数据左侧出现了以‘/’为分隔的堆积（xx、11111、114、49应分别是站名、站号、经度和纬度）。情况2：当header列数大于数据实际列数时，pd.read_csv()读取后从左向右依次对应数据和header，数据右侧以‘nan’补齐。 ...

Pandas 提高读取和处理大CSV文件方法

最新发布

XiaoYuGouGou的博客

07-06

908

处理大型CSV文件时，确实可能会遇到性能瓶颈，尤其是当内存不足以一次性加载整个文件时。

Python 教你用 Rows 快速操作csv文件

Python实用宝典网

08-31

909

Rows 是一个专门用于操作表格的第三方Python模块。只要通过 Rows 读取 csv 文件，她就能生成可以被计算的 Python 对象。相比于 pandas 的 pd.read_csv, 我认为 Rows 的优势在于其易于理解的计算语法和各种方便的导出和转换语法。它能非常方便地提取pdf中的文字、将csv转换为sqlite文件、合并csv等，还能对csv文件执行sql语法，还是比较强大的。当...

pd.read_csv读取指定的行数或列数

qq_22592457的博客

08-04

2万+

import numpy as np import pandas as pd df = pd.read_csv('0728.csv',sep=',') df 如上图所示，有时候直接读取文件，会多出一些空白列。为了去掉这些空白列，我们可以用usecols参，确定好要读取的列数，直接加参即可。 list_a = np.arange(12) df = pd.read_csv('0728.csv',sep=',',usecols=list_a) df 有时我们只需要前几行的数据，可以用nrows参，脚本如下

独家 | 是时候和pd.read_csv(), pd.to_csv()说再见了

数据派THU

10-29

627

作者：Avi Chawla 翻译：欧阳锦校对：和中华本文约1100字，建议阅读5分钟本文将带你探索Dask和DataTable，这两个类 Pandas 库。Pandas 对 CSV 的输入输出操作是串行化的，这使得它们非常低效且耗时。我在这里看到足够的并行优化空间，但遗憾的是，Pandas 还没有提供这个功能。尽管我从不赞成一开始就使用 Pandas 创建 CSV（请阅读https://...

python中pd读取csv二进制_python中读取文件pd.read_csv()/ to_csv()的参数/drop方法删除某列...

weixin_30095015的博客

01-29

1391

一.pd.read_csv()1.filepath_or_buffer:(这是唯一一个必须有的参数，其它都是按需求选用的)文件所在处的路径2.sep：指定分隔符，默认为逗号','3.delimiter: str, default None定界符，备选分隔符(如果指定该参数，则sep参数失效)4.header：int or list of ints, default ‘infer’指定哪一行作为表...

杨桃的Python笔记3——pd.read_csv函数的一个bug：只能读取第一列

yty_7的专栏

05-10

2966

本人CSDN博客专栏：https://blog.csdn.net/yty_7 Github地址：https://github.com/yot777/ Pandas是Python一个很有用的数据分析应用包，受到广大程序员的欢迎。今天本人在使用中发现pd.read_csv函数存在一个很有意思的bug，和大家分享一下。使用engine='python'参数消除告警首先我们查看一下需要读取的文本文件test01.txt：这个文本文件我们只需读取数据部分，因此需要“掐头去尾”，在p..

是时候告别 pd.read_csv() 和 pd.to_csv()

t631791611的博客

08-24

140

但是，要从 Dask 和 DataTable 创建 CSV，我们首先需要将给定的 Pandas DataFrame 转换为各自的 DataFrame，然后将它们存储在 CSV 中。在这两种情况下，Datatable 在 Pandas 中生成 DataFrame 所需的时间最短，可提供高达 4 到 5 倍的加速 - 使其成为迄今为止最好的选择。然而，当我们超过一百万行时，Dask 的性能就会恶化，生成 Pandas DataFrame 所需的时间比 Pandas 本身要多得多。

Pandas read_csv 少读取一列的问题

gongzairen的博客

06-02

1422

read_csv 少读取一列的问题解决

pandas 读取的数据少了一行

Alan的博客

09-09

5577

pandas会默认把excel里的第一行当成是列名添加参数:header = None,则不会少一行 data=pd.read_table(file_loc, sep=’\t’,header = None)

超大CSV文件难不倒你！5招教会你运用Pandas轻松解决

devid008的博客

05-21

3367

在数据分析工作中，时常会遇到数据量巨大的CSV文件，这无疑给我们带来很大困扰，总是内存溢出和程序崩溃。在此教会各位Pandas的5招，让你轻松应对超大CSV文件，内存问题不再是障碍。

pandas零基础教程（2）------ 学习输出数据集的行数与列数

k66777的博客

10-04

842

本文介绍了使用pandas读取csv文件数据，并输出该数据集的行数与列数。

csv文件读取换行字符错乱问题

qq_21451459的博客

07-14

1526

读取csv文件换行字符错乱问题

【Pandas总结】第二节 Pandas 的数据读取_pd.read_csv()的使用详解（非常全面，推荐收藏）