dataframe保存excel格式比csv格式小很多很多

最新推荐文章于 2024-05-23 09:38:22 发布
最新推荐文章于 2024-05-23 09:38:22 发布
阅读量515 收藏
点赞数
文章标签： excel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningyanggege/article/details/133633179
版权
文章探讨了将3万行数据以CSV和Excel(XLSX)格式保存时，XLSX由于采用zip压缩和查找表优化，即使数据量大也能显著减小文件大小。尽管CSV压缩后仍大于XLSX，但XLSX在处理重复数据时显示出优势。
摘要由CSDN通过智能技术生成

问题描述：

一个3万行的数据保存成csv大概10个G，但保存成excel格式只有100多M

原因分析：

因为xlsx 实际上就是 zip 压缩包，同时，如果有大量重复的数据，XLSX 会提取文本值，将其存储在查找表中，这意味着每个文本字符串只需要使用一次空间。数据量大了压缩的优势才体现出来。如图所示：压缩后的csv文档仍然有1G多，但xlsx只有100M
而且csv压缩后的大小也远远大于xlsx格式，如图所示：
在这里插入图片描述

Takoony
关注
csv excel 对比
lcf枫的博客
05-17 3054
对比csv excel 处理 目前项目需要上传非常大的excel文件。几百兆到几个G之间。上传的问题还没有解决。但是load到内存也是个问题。excel 一般使用xlrd 包做解析，第一个操作肯定是open_workbook。但是在open_workbook的时候会把整个文件load 到内存，如果多个文件同时在做处理可能会内存溢出，所以存在很大风险。技术上对比csv. 看看两者个差异。 准备工...
xlsx和csv格式有什么区别，在写程序时那种更方便操作呢
再来一下！
10-06 4308
*.csv：**这是逗号分隔值（Comma Separated Values）的缩写，它是一种纯文本格式，数据以逗号分隔，每行代表一条记录。**.xlsx：**这是Microsoft Excel使用的一种电子表格文件格式，它是一种二进制文件格式，可以存储多个工作表、图表、公式等。**.xlsx：**通常会比相同数据量的csv文件更大，因为它是一个二进制格式，可能包含大量的元数据。**.xlsx：**支持多个工作表，每个工作表可以包含多个列和行，还支持复杂的格式、公式等。
csv文件和excel文件的区别
weixin_44943389的博客
10-06 1482
综上所述，选择使用CSV文件还是Excel文件取决于你的具体需求。如果只需要简单地存储和交换数据，CSV通常是一个不错的选择。但如果需要处理复杂的数据、进行数据分析和使用丰富的功能，Excel可能更合适。
Pandas DataFrame 存储格式性能对比！
Python栈_基的博客
02-23 582
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。下面的图表和表格是测试的结果。压缩后的尺寸很小，但不是最小的。
DataFrame保存为csv还是pkl？
dblyyds的博客
09-19 404
DataFrame保存为csv还是pkl，哪种文件格式更快、更省存储空间
Python Dataframe之excel、csv、pickle、feather、parquet、jay、hdf5 文件存储格式==》存读效率对比
积一时之步，臻千里之遥程
11-12 8356
今天看到一篇文章 参考：对比不同主流存储格式（csv, feather, jay, h5, parquet, pickle）的读取效率 然后我自己也试了一下，感觉发现了“新大陆”，T_T~到现在才知道还有这些存储形式，比这excel、csv快多了。 上次实习的时候，因为不知道可以存为其他格式，把多个几十个G的dataframe处理完后存为csv，过后又要读出来 心态瞬间崩了~ 搞数据都搞了好久，浪费时间~拐求 文章目录desk 读取CSV文件一、excel 存储格式（xlsx）二、csv 存储格式三、pic
大数据中不同文件格式的比较
weixin_41446370的博客
12-01 1321
【翻译 adaltas.com中Aida NGOM所写的《Comparaison of different file formats in Big Data》】 在数据处理中，有不同类型的文件格式来存储您的数据集。每种格式都有自己的优缺点，具体取决于用例，并且存在用于一个或多个目的。在选择特定格式类型时，了解并利用它们的特性非常重要。 某些格式与某些用途或处理更相关，例如在商业智能、网络通信、Web 应用程序、批处理或流处理中。例如，CSV格式非常容易理解，虽然每个人都批评其缺乏形式主义，但它仍然被广泛使用
excel格式和csv格式的区别（关键差异）
C2667378040的博客
08-24 9072
excel格式和csv格式文件的关键差异 来源：https://www.guru99.com/excel-vs-csv.html 1、CSV 是一种纯文本格式，用于将表格信息保存到具有扩展名 .csv 的分隔文本文件中，而 Excel 是一种电子表格，用于将文件保留到自己的专有格式 .xls 或 .xlsx 中。 2、CSV 是一种纯文本格式，具有一系列用逗号分隔的值，而 Excel 是一个二进制文件，它保存有关工作簿中所有工作表的信息。 3、CSV 文件无法对数据执行操作，而 Excel 可以对数据执行操
CSV和XLSX文件格式的区别
qq_44591229的博客
04-30 4242
CSV和XLSX文件格式的区别
102、Pandas数据处理：一键将DataFrame保存为CSV、Excel、JSON、HTML和SQL
最新发布
silenceallat的博客
05-23 1024
本文介绍了使用Python Pandas库将DataFrame保存为CSV、Excel、JSON、HTML和SQL等不同格式的方法。针对每种格式，我们分析了其应用场景、实用技巧和案例。无论是对数据进行简单分享，还是需要持久化存储到数据库，Pandas都提供了灵活的导出策略。掌握这些方法，可以有效提升数据处理和分析的效率，同时确保数据完整性和安全性。
excel文档与csv文档对比
07-13
将数据库的数据下载为CSV文档后可以直接与EXCEL文档对比，用于对比文档是否在数据库是否正确导入
csv_file.rar_csv_csv文件_python_python 读写 excel_python处理csv数据
09-23
虽然CSV文件在很多情况下足够使用，但有时需要处理更复杂的Excel文件，如包含多个工作表或格式化数据。此时，`pandas`库的`read_excel()`和`to_excel()`函数派上用场： ```python # 读取Excel文件 excel_data =...
Python 后端 基于Flask 框架 实现DataFrame数据 以Excel / Csv文件形式下载到本地
qq_31240175的博客
03-19 1868
Python 项目中很多都是使用Flask 框架实现的，数据分析也经常用到Python 和 Pandas ,在数据分析项目中，我们如何把处理好的DataFrame 下载下来呢？接下来我们就实现以下基于Flask 框架 下载Excel 、Csv文件。 from flask import Flask, Response from typing import Any, Dict, Optional from datetime import datetime import pandas as pd import.
Python对Excel文件批量转CSV格式
weixin_42636075的博客
05-23 1299
Python对Excel文件批量转CSV格式
要将dataframe写入一个excel并保存在桌面，保存在桌面的操作需要在很多不同的电脑上使用
05-24
为了将dataframe写入excel并保存在桌面，您需要使用pandas库中的to_excel方法。具体实现步骤如下： 1. 首先，确保您已经安装了pandas库。如果没有安装，可以使用以下命令进行安装： ``` pip install pandas ``` 2...
调试经验——三种Excel文件格式文件大小对比实测数据
预见未来to50的专栏
08-25 1732
有个二十六万多行数据的raw data table（原始数据表），使用SQLPlus spool命令导出到Excel，默认格式为.xls，导出时间长达一个半小时左右。看了一下文件大小，竟然达到了惊人的412MB。如果使用Toad的export功能，估计导出途中老早就会报错：out of memory，然后挂掉。 第一次看到这么大的Excel文件，试着打开，大概几分钟之后，文件打开了。看来，打开速...
csv和excel的比较
sayoko06的博客
01-19 9550
一、excel 1. Excel不仅可以存储数据，还可以对数据进行操作 2. 任何用于解析Excel数据的编程语言库通常都会更大，更慢，更复杂 3. Excel导入数据时消耗更多的内存   二、csv 1. CSV文件只是一个文本文件，它存储数据，但不包含格式，公式，宏等。它也被称为平面文件 2. 任何编程语言来解析CSV数据是微不足道的，生成它是非常容易的 3. 导入CSV文件可...
导入csv文件xls|xlsx文件的区别
老大不小的博客
06-13 4096
导入后缀为xls或xlsx与后缀为csv文件的区别（仿sql）一、xls xlsx文件导入string filePath="文件路径（具体到文件名）"; string connStr="Provider=Microsoft.Jet.OleDb.4.0;" + "data source=" + filePath+ ";Extended Properties='Excel 8.0; HDR=YES; ...
csv和xlsx区别
热门推荐
weixin_30535565的博客
06-29 1万+
CSV是文本文件，用记事本就能打开。XLS 是二进制的文件只有用 EXCEL 才能打开； CSV 文件格式只能保存活动工作表中的单元格所显示的文本和数值。数据列以逗号分隔，每一行数据都以回车符结束。如果单元格中包含逗号，则该单元格中的内容以双引号引起。 如果单元格显示的是公式而不是数值，该公式将转换问文本方式。所有格式、图形、对象和工作表的其他内容将全部丢失。 若只是保存一点文本信息用，CS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值