python提高pandas处理CSV效率的方法

最新推荐文章于 2022-12-23 16:41:44 发布
最新推荐文章于 2022-12-23 16:41:44 发布
阅读量1.7k 收藏 4
点赞数 1
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangspoor/article/details/109023022
版权

项目场景：

对从数据库导出的原始CSV数据进行更新，使用Python完成

问题描述：

网上建议使用pandas包的DataFrame处理方便高效，比csv包好。但执行时非常慢，1600万行记录（1.6GB），跑了5小时都没结束（4列置空，1列Hash）

# 需要hash的示例代码
for field in field_list:
    for i in range(0, len(csv_df.index)):
        if not pd.isnull(csv_df[field]
最低0.47元/天 解锁文章
yangspoor
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用pandas遍历csv表格数据的效率问题（df.loc/iloc与df.at/iat的异同）
Hayreen的博客
03-25 1558
背景 在处理数据量较大的表格（25万行）时，需要遍历表格中的每个值，前期使用df.loc进行遍历，不仅非常耗时，而且运行十几个小时经常崩溃。。。 解决方法 在网上搜索解决方案，使用df.at代替df.loc后，竟然几分钟就遍历完成！！！ 特地搜索了一下loc与at的区别，loc和at都是利用index和列名进行检索，但at更快，loc的优势在于可以灵活的对数据进行切片或选择性提取多个数值，例如： df.loc[1:10,'weight'] df.loc[[1,3,6],'...
分页查询
daxuecai的博客
10-15 114
分页查询 @[TOC](控制层) PageInfo page = relationInfoService.getFamilyPersonForFPSelect(pageCondition); PageInfo<HrmsPersonInfo> page = relationInfoService.getPersonForFPSelect(pageCondition); PageInfo类具体实现 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为
python 正则表达式特别慢怎么解决
郑王铭
02-27 5371
python正则表达式特别慢的话主要是正则表达式太长了 脚本匹配需要太长时间 把要取的信息分为几段取就行 运行速度一下子就提升了
python3关于写入csv档效率问题
qq_42409668的博客
09-24 3253
前几天做的一个处理csv档的程序放在了服务器上跑，结果发现时间很久，处理一个113M差不多70W行的csv档需要65s左右，然后对其中的各部分操作分别计时，发现大部分时间都是花费存取csv档上足足要53s左右，而处理一列数据也仅需3s。然后今天就开始找提高存储效率的方法了！ 首先说结论，使用csv模块的writerows方法最后是成功的提高了效率，不过还是很想通过pickle方法来实现，其中乱码...
再见 CSV，速度提升 150 倍！
Python数据科学
09-10 1342
大家好，我是东哥。 前几天有个粉丝留言，说pandas的100个骚操作系列为什么只有21个啊？这里和大家说一下，这个系列「pandas100个骚操作」还在持续更新中。由于平时工作较忙，更新稍慢，不过还是在一直更新的。 我的原计划是输出100个，目前来看可能最终不一定会到100个，但每个都是超实用且平时经常会遇到的问题。pandas的用法太多了，如果不熟练，平时是需要经常网上查找的，这个系列可以帮助大家快速回忆用法。 或者万一平时遇到问题查不到无法解决，也可以过来看下，毕竟某度上是查不到微信文章的。该系列预
Pandas处理sqlite数据库CSV文件EXCEL文件的速度对比
KevinLiu's Notes
10-16 1681
近期在对大数据文件的处理时，发现pandas处理不同文件格式的处理速度差距很大，可以达到几十数百倍的差距。结果可见，针对于该数据集和要查询的数据，csv数据加载处理时间是db数据加载处理处理时间的15倍左右，excel数据加载处理是db数据加载处理的733倍。
Python使用Pandas对csv文件进行数据处理的方法
09-18
主要介绍了Python使用Pandas对csv文件进行数据处理的方法，本文通过实例代码相结合给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
Python使用pandas处理CSV文件的实例讲解
12-23
Python中有许多方便的库可以用来进行数据处理，尤其是Numpy和Pandas,再搭配matplot画图专用模块，功能十分强大。 CSV（Comma-Separated Values）格式的文件是指以纯文本形式存储的表格数据，这意味着不能简单的使用...
Python Pandas批量读取csv文件到dataframe的方法
09-20
主要介绍了Python Pandas批量读取csv文件到dataframe的方法,需要的朋友可以参考下
python pandas获取csv指定行 列的操作方法
09-19
主要介绍了pandas获取csv指定行，列的操作方法，本文简单易懂，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
提升效率，这十个Pandas技巧必不可少！
Python大本营的博客
03-21 682
译者 | 风车云马责编 | Jane出品 | Python大本营（ID：pythonnews）【导语】Pandas 是一个被广泛使用，用于处理结构化数据的 Python ...
python 使用pandas 读取较大csv文件的加速技巧
热门推荐
SZ-crystal
05-23 1万+
问题背景 基于python将较大的文本文件读取为dataframe时（文本文件可能是csv或者xlsx类型）。直接用pandas对整个文件进行读取的话，会比较耗时。 这里提供一个简单的加速方案：分批读取。 实现方案 需要首先将文件转为可以分批读取的数据类型:csv(’,‘分隔)或者tsv(’\t’分隔)。 然后基于 pandas 的 read_csv函数的 chunksize参数实现分批读取（此参数用于设定每批读入多少行数据）。一般设置为一个稍大的整数即可明显提速。 封装成以下的函数，可以直接调用： def
用pandas进行csv文件的读取和写入
huiling_tiantian的博客
12-05 7155
pandas读写csv
20个能够有效提高 Pandas数据分析效率的常用函数，附带解释和例子
deephub
08-07 4736
Pandas是一个受众广泛的python数据分析库。它提供了许多函数和方法来加快数据分析过程。pandas之所以如此普遍，是因为它的功能强大、灵活简单。 本文将介绍20个常用的 Pandas 函数以及具体的示例代码，助力你的数据分析变得更加高效。 首先，我们导入 numpy和 pandas包。 import numpy as np import pandas as pd 1. Query 我们有时需要根据条件筛选数据，一个简单方法是query函数。 为了更直观理解这个函数，我们首先创建一个示例 data.
python读取大智慧数据_大智慧数据读取接口 大智慧股票本地数据读取接口
weixin_39883079的博客
11-25 1475
大智慧数据读取接口 大智慧股票本地数据读取接口时间：2020-7-28 1:42:29 点击：核心提示：所属分类：C资源描述：组件方法和属性说明：（1）方法GetData语法：public string[,] GetData(string dataType, string code,int iRecor...所属分类：C资源描述：组件方法和属性说明：（1）方法GetData语法：public st...
还在抱怨pandas运行速度慢？这几个方法会颠覆你的看法
2201_75768457的博客
12-23 1590
当大家谈到数据分析时，提及最多的语言就是Python和SQL。Python之所以适合数据分析，是因为它有很多第三方强大的库来协助，pandas就是其中之一。pandas“快速，灵活，富有表现力的数据结构，旨在使”关系“或”标记“数据的使用既简单又直观。”我们知道pandasdataframe和series，我们对数据的一些操作都是基于这两个数据结构的。但在实际的使用中，我们可能很多时候会感觉运行一些数据结构的操作会异常的慢。
Pandas处理数据太慢，来试试Polars吧~
sixqingfeng的博客
06-18 629
很多人在学习数据分析的时候，肯定都会用到Pandas这个库，非常的实用！从创建数据到读取各种格式的文件(text、csv、json)，或者对数据进行切片和分割组合多个数据源，Pandas都能够很好的满足。Pandas最初发布于2008年，使用Python、Cython和C编写的。是一个超级强大、快速和易于使用的Python库，用于数据分析和处理。当然Pandas也是有不足之处的，比如不具备多处理器，处理较大的数据集速度很慢。今天给大家介绍一个新兴的Python库——Polars。使用语法和Pandas差不多
pandas、openpyxl、xlrd&xlwt&xlutils耗时对比、使用踩坑
qq_38122800的博客
03-31 5864
一、问题背景： 写数据时因为多加了两个字段，结果程序运行总耗时10s多，简直不能忍。开始分析各阶段耗时，发现写execl就用了10s多，几乎所有耗时都在这。 二、问题解决： 读写execl有三种基本方式：   pandas、openpyxl、xlrd&xlwt&xlutils openpyxl、xlrd&xlwt&xlutils的对比   在自己写的脚本中做了实验，对于读取小文件，openpyxl用时0.009s，xlrd用时0.003s. 当想比较下写入速度时，发现xlrd
pandas写入oracle太慢,优化Pandas代码执行速度入门指南
weixin_42356139的博客
04-05 712
优化Pandas代码执行速度入门指南作者:superzhang 时间:2017-12-03 20:32:30Python部落(python.freelycode.com)组织翻译，禁止转载，欢迎转发。如果你用Python做过一些数据分析相关的项目，那么很有可能你已经接触过Pandas，由Wrs McKinney编写的超赞的数据分析库。通过向Python提供数据框(dataframe)分析功能，Pa...
Python pandas处理csv文件
最新发布
05-05
Pandas 是一个 Python 库，用于数据处理和数据分析。它提供了许多强大的数据结构和函数，使数据分析变得更加容易。下面是使用 pandas 处理 csv 文件的一些基本步骤： 1. 导入 pandas 库 ```python import pandas as pd ``` 2. 读取 csv 文件 ```python df = pd.read_csv('filename.csv') ``` 3. 查看前几行数据 ```python df.head() ``` 4. 查看数据的基本信息 ```python df.info() ``` 5. 对数据进行统计分析 ```python df.describe() ``` 6. 对数据进行筛选 ```python df[df['column_name'] > value] ``` 7. 对数据进行排序 ```python df.sort_values('column_name', ascending=False) ``` 8. 对数据进行分组 ```python df.groupby('column_name').mean() ``` 9. 将处理后的数据保存为 csv 文件 ```python df.to_csv('new_filename.csv', index=False) ``` 这些是 pandas 处理 csv 文件的基本步骤，你可以根据自己的需求进行进一步定制和扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值