人生苦短我用Python excel转csv
前言
Excel
文件和csv
文件都是常用的电子表格文件格式,其中csv
格式更便于用于数据交换和处理。本文使用pandas
库将Excel
文件转化为csv
文件。
准备工作
pip install pandas
pip install openpyxl
pandas库
-
csv
库是Python
标准库的一部分,提供了基本的csv
文件读写功能。它不能直接支持读取Excel
文件。 -
要读取
Excel
文件,通常需要使用pandas
库。以下是来自官网的介绍:
pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool,
built on top of the Python programming language.
- 在读取不同文件格式所需要的
engine
。 openpyxl
是一个用于读写 Excel 2010 xlsx/xlsm/xltx/xltm 文件的Python
库。支持通过Python
代码创建、修改和读取Excel
文件,而无需依赖于 Microsoft Excel 应用程序。
"""
engine : {{'openpyxl', 'calamine', 'odf', 'pyxlsb', 'xlrd'}}, default None
If io is not a buffer or path, this must be set to identify io.
Engine compatibility :
- ``openpyxl`` supports newer Excel file formats.
- ``calamine`` supports Excel (.xls, .xlsx, .xlsm, .xlsb)
and OpenDocument (.ods) file formats.
- ``odf`` supports OpenDocument file formats (.odf, .ods, .odt).
- ``pyxlsb`` supports Binary Excel files.
- ``xlrd`` supports old-style Excel files (.xls).
When ``engine=None``, the following logic will be used to determine the engine:
- If ``path_or_buffer`` is an OpenDocument format (.odf, .ods, .odt),
then `odf <https://pypi.org/project/odfpy/>`_ will be used.
- Otherwise if ``path_or_buffer`` is an xls format, ``xlrd`` will be used.
- Otherwise if ``path_or_buffer`` is in xlsb format, ``pyxlsb`` will be used.
- Otherwise ``openpyxl`` will be used.
"""
主要类和方法
pandas
库中ExcelFile
类主要用于读取Excel
文件,DataFrame
类用于表示和操作数据。
ExcelFile 类
ExcelFile
类用于处理Excel
文件,封装了解析和读取Excel
文件的操作。- 支持查看
Excel
文件中的工作表名称,并读取特定的工作表。 - 支持读取
Excel
文件中的多个工作表,并将每个工作表转换为一个DataFrame
对象。
class ExcelFile:
def __init__(
self,
path_or_buffer,
engine: str | None = None,
storage_options: StorageOptions | None = None,
engine_kwargs: dict | None = None,
) -> None:
@property
def sheet_names(self):
return self._reader.sheet_names
DataFrame 类
DataFrame
类用于表示二维的、大小可变、潜在异构的表格数据。- 可以包含多种数据类型的列,如整数、浮点数、字符串等。
- 可以进行各种数据操作,如选择、过滤、修改、合并、分组、排序等。
read_excel 函数
pandas
库read_excel
函数,用于从 Excel 文件中读取数据并将其转换为DataFrame
对象。- 支持多种参数来处理不同的 Excel 文件格式和内容。
def read_excel(
io,
sheet_name: str | int | list[IntStrT] | None = 0,
*,
header: int | Sequence[int] | None = 0,
names: SequenceNotStr[Hashable] | range | None = None,
index_col: int | str | Sequence[int] | None = None,
usecols: int
| str
| Sequence[int]
| Sequence[str]
| Callable[[str], bool]
| None = None,
dtype: DtypeArg | None = None,
engine: Literal["xlrd", "openpyxl", "odf", "pyxlsb", "calamine"] | None = None,
converters: dict[str, Callable] | dict[int, Callable] | None = None,
true_values: Iterable[Hashable] | None = None,
false_values: Iterable[Hashable] | None = None,
skiprows: Sequence[int] | int | Callable[[int], object] | None = None,
nrows: int | None = None,
na_values=None,
keep_default_na: bool = True,
na_filter: bool = True,
verbose: bool = False,
parse_dates: list | dict | bool = False,
date_parser: Callable | lib.NoDefault = lib.no_default,
date_format: dict[Hashable, str] | str | None = None,
thousands: str | None = None,
decimal: str = ".",
comment: str | None = None,
skipfooter: int = 0,
storage_options: StorageOptions | None = None,
dtype_backend: DtypeBackend | lib.NoDefault = lib.no_default,
engine_kwargs: dict | None = None,
) -> DataFrame | dict[IntStrT, DataFrame]:
- 常用参数
参数 | 说明 | 默认值 |
---|---|---|
io | Excel 文件的路径或文件对象 | |
sheet_name | 要读取的工作表名称或索引。 可以是字符串(工作表名称)、整数(工作表索引)、列表(多个工作表)或 None (所有工作表) | 默认为 0 (第一个工作表) |
header | 指定哪一行作为列名 | 默认为 0 (第一行) |
index_col | 指定哪一列作为行索引。可以是整数或列名 | |
usecols | 指定要读取的列。可以是列索引、列名或列范围。 | |
dtype | 指定列的数据类型。可以是字典,键为列名,值为数据类型。 | |
skiprows | 跳过文件开头的一些行。可以是整数或列表。 | |
nrows | 要读取的行数。 |
to_csv 函数
DataFrame
对象提供了一个非常方便的方法to_csv
,用于将DataFrame
中的数据写入 CSV 文件。
def to_csv(
self,
path_or_buf: FilePath | WriteBuffer[bytes] | WriteBuffer[str] | None = None,
sep: str = ",",
na_rep: str = "",
float_format: str | Callable | None = None,
columns: Sequence[Hashable] | None = None,
header: bool_t | list[str] = True,
index: bool_t = True,
index_label: IndexLabel | None = None,
mode: str = "w",
encoding: str | None = None,
compression: CompressionOptions = "infer",
quoting: int | None = None,
quotechar: str = '"',
lineterminator: str | None = None,
chunksize: int | None = None,
date_format: str | None = None,
doublequote: bool_t = True,
escapechar: str | None = None,
decimal: str = ".",
errors: OpenFileErrors = "strict",
storage_options: StorageOptions | None = None,
) -> str | None:
- 常用参数
参数 | 说明 | 默认值 |
---|---|---|
path_or_buf | 输出文件的路径或文件对象。 如果为 None ,则返回 CSV 字符串。 | None |
sep | 分隔符 | 默认为逗号 , |
index | 是否写入行索引 | 默认为 True |
header | 是否写入列名 | 默认为 True |
columns | 指定要写入的列 | 默认为所有列 |
encoding | 指定编码格式 | 默认为 utf-8 |
示例
实现很简单:
- 使用
pandas
库读取Excel
文件; - 读取工作表并将其转换为
DataFrame
对象; - 将
DataFrame
写入csv
文件。
import os
import pandas as pd
def export_csv(input_file, output_path):
# 创建ExcelFile对象
with pd.ExcelFile(input_file) as xls:
# 获取工作表名称列表
for i, sheet_name in enumerate(xls.sheet_names):
# 读取工作表并转换为DataFrame
df = pd.read_excel(xls, sheet_name=sheet_name)
output_file = os.path.join(output_path, f'{i + 1}-{sheet_name}.csv')
# 将DataFrame中的数据写入CSV文件。
df.to_csv(output_file, index=False)