pandas将csv文件保存文feather格式,大大加快读取速度

最新推荐文章于 2024-08-03 12:19:03 发布
最新推荐文章于 2024-08-03 12:19:03 发布
阅读量6.7k 收藏 5
点赞数 1
分类专栏： 2019 文章标签： 机器学习 读取速度 dataframe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32830061/article/details/103070051
版权
在处理大量表格数据时，通过将CSV文件转换为feather格式，可以显著加快读取速度。将DataFrame保存为feather文件后，与读取CSV相比，读取时间从9.5秒缩短到1.2秒。
摘要由CSDN通过智能技术生成

在参加各种机器学习比赛的时候，有时候要读取几百M甚至几个G 的表格数据，为了使读取速度加快，使用一种新的方法，把.csv格式格式的文件转存为.feather格式，再用read_feather读取，速度可以大大提升。

1.将表格数据保存为feather格式

保存的数据大小：

train_data.info()

在这里插入图片描述
将Dataframe格式的数据以feather格式储存

train_data.to_feather("train.feather")
2.读取
time1 = time(
最低0.47元/天 解锁文章
两颗橘子树
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pandas使用to_feather函数将dataframe保存为feather文件（需要依赖pyarrow包）提升大文件读取效率、pandas使用read_feather函数读取feather文件
data+scenario+science+insight
06-18 2393
pandas使用to_feather函数将dataframe保存为feather文件（需要依赖pyarrow包）提升大文件读取效率、pandas使用read_feather函数读取feather文件、文件读取效率提升
python写向数据库导入一个有100万行的csv文件，提高速度，还是要95秒
MRLeebo的博客
10-21 2430
（1小记录）python写向数据库导入一个有100万行的csv文件，速度终于快了一开始用load infile直接整个文件导入，结果Python报错:MemoryError 一开始用load infile直接整个文件导入，结果Python报错:MemoryError 导入语句： load_sql = “”" LOAD DATA lOCAL INFILE ‘{}’ INTO TABLE {} FIELDS TERMINATED by ‘,’ optionally enclosed by ‘"’ escap
在Python中文件用Feather格式，与 CSV说再见，速度提升 150 倍！
【独钓寒江雪】的博客
09-18 2875
在Python中文件用Feather格式，与 CSV说再见，速度提升 150 倍！
Pandas 提高读取和处理大CSV文件方法
XiaoYuGouGou的博客
07-06 525
处理大型CSV文件时，确实可能会遇到性能瓶颈，尤其是当内存不足以一次性加载整个文件时。
pandas parquet文件读取pyarrow、feather文件保存与读取；requests 或wget下载图片文件
weixin_42357472的博客
01-11 5288
安装 fastparquet哭，需要安装python-snappy ,一直安装错误，所以使用了pyarrow pip install pyarrow 参考：https://arrow.apache.org/docs/python/ import glob import pandas as pd import pyarrow.parquet as pq aaaaa = glob.glob(r'C:\Users\lo理\oss数据\*') kkk = [] for i in aaaaa: print
pandas入门学习
进击的菜鸟
10-02 8393
知道pandas主要的数据结构以后就可以实际操作学习了，其实学习主要还是学习如何使用Series和Dataframe的属性和方法使用规则，多使用，多看官方文档就差不多了，下面开始学习pandas: Series的创建 使用Python的列表创建Series： import numpy as np import pandas as pd # 使用list创建 s1 = pd.Series(...
csv_csv_csv筛选器_
10-04
在这个主题中，我们将深入探讨如何利用Python处理CSV文件，包括读取、筛选、剔除、增加、减少、对比、连接以及优化和加速CSV操作。 首先，让我们从基本的CSV读取开始。在Python中，我们通常使用`pandas`库来处理CSV...
data:CSV和其他数据科学文件
03-29
在数据科学领域，CSV（Comma Separated Values）文件是一种非常常见且...以上就是关于CSV文件以及数据科学中其他相关文件格式的一些基本知识。在实际的数据工作中，根据项目需求和工具选择合适的文件格式是非常关键的。
Python数据分析必备-Pandas库汉化手册.docx
10-30
2. **平面文件**: `read_table()`, `read_csv()`, 和 `read_fwf()` 分别用于读取分隔符文件、CSV文件和固定宽度格式的文件，它们都返回DataFrame对象。 3. **Clipboard**: `read_clipboard()` 可以从剪贴板读取文本...
Python数据分析必备-Pandas库汉化手册.pdf
09-30
* read_feather()：读取 Feather 文件 * read_parquet()：读取 Parquet 文件 * read_sas()：读取 SAS 文件 * read_sql()：读取 SQL 数据库 * read_gbq()：读取 Google BigQuery 数据 * read_stata()：读取 Stata ...
笔记·Pandas几类数据读写方法对比——csv，parquet，feather和pickle
qq_40153886的博客
08-04 3544
Pandas读取文件类型的数据方法有很多，当读取大文件时往往需要一点技巧来提高效率。简单对比一下csv，parquet，feather和pickle这几类数据的读写效率，正好最近在处理轨迹数据，特别记录在此。
【Pandas】pandas.read_feather详解与实战应用：读取 Feather 格式数据
最新发布
科技改变人类，技术成就未来
08-03 259
Feather 是一种二进制列式存储格式，专为高效地序列化 Pandas DataFrame 和 R DataFrame 设计。Pandas 提供了 read_feather 函数，用于从 Feather 文件中读取数据，并将其转换为 Pandas DataFrame。这篇博客将详细讲解 read_feather 方法，包括其作用、使用方法、参数详解、示例代码以及注意事项。
python之pandas数据导入和导出
专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。
04-11 1386
本教程介绍了 Pandas 中数据导入和导出的基本操作。通过学习这些技巧，你可以更轻松地处理各种数据格式，并且能够应对实际数据处理和分析中的挑战。
放弃csv，拥抱feather文件
qq946561354_xgl的博客
11-14 301
一般比赛或者本地的表格文件多为.csv文件，这类文件动辄数个G，甚至上百G，并且读取的时间也较慢；因此有必要思考新型的存储文件格式来解决csv文件的问题；
python中pandas读写数据详解
winnerxrj的博客
04-13 3502
pandas是一个强大而灵活的Python包，它可以让你处理带有标签和时间序列的数据。pandas提供了一系列的函数来读取不同类型的文件，并返回一个DataFrame对象，这是pandas的核心数据结构，它可以让你方便地对数据进行分析和处理。函数名以read_开头，后面跟着文件的类型，例如read_csv()表示读取CSV文件函数的第一个参数是文件的路径或者类似文件的对象，例如read_csv("data.csv")表示读取data.csv文件，read_csv(url)表示从网址读取数据。
Python金融量化利器——Pandas操作手册（一）
Python学习教程
10-08 964
Pandas是Python在数据分析与挖掘上崭露头角的第三方库，可以说学会Pandas的操作，在金融量化上将游刃有余，下面以系列的形式，给大家分享pandas的完全操作手册。由于内容较大，没有展示相关案例，最好是结合具体数据进行操作。 输入/输出 Pickling read_pickle(path[, compression])：从文件加载pickled pandas对象（或任何对象） 平...
Feather R语言和Python交互式硬盘存储格式
自由 平等~忠诚 奉献
04-07 9299
本文最近更新地址 本文参考：http://blog.rstudio.org/2016/03/29/feather/ R语言大神Hadley的有一力作：Feather。 Feature是一种文件格式，支持R语言和Python的交互式存储，速度更快。目前支持R语言的data.frame和Python pandas 的DataFrame。Feather收到了Apache arrow 项目的支持
python基础案例 - Pandas统计分析基础
Feather_Brain的博客
05-08 698
python基础案例 - Pandas统计分析基础：Pandas对各种数据格式的读/写、DataFrame的数据访问/排序、股票交易数据的处理、用imageio绘制gif
pandas读取csv文件会出现的格式问题
04-05
1. 编码问题：如果CSV文件的编码格式与pandas默认的UTF-8编码格式不一致，可能会出现乱码或无法读取的情况。 2. 分隔符问题：CSV文件中的字段分隔符可能不是逗号，而是其他字符，如分号、制表符等。需要在读取时指定分隔符参数。 3. 缺失值问题：CSV文件中可能存在缺失值，需要在读取时指定缺失值标记。 4. 数据类型问题：CSV文件中的数据类型可能与pandas默认的数据类型不一致，需要在读取时指定数据类型参数。 5. 表头问题：CSV文件中可能没有表头，需要在读取时指定header参数为None，并手动指定列名。 6. 行索引问题：CSV文件中可能没有行索引，需要在读取时指定index_col参数为None，并手动指定行索引。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值