Pandas数据载入与预处理（详细的数据Python处理方法）

Pandas数据载入与预处理

对于数据分析而言，数据大部分来源于外部数据，如常用的CSV文件、Excel文件和数据库文件等。Pandas库将外部数据转换为DataFrame数据格式，处理完成后再存储到相应的外部文件中。

NumPy常用的导入格式：import pandas as pd

一、数据载入

读取文本文件

文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。

txt文件：是Windows操作系统上附带的一种文本格式，文件以.txt为后缀。

CSV文件：是Comma-Separated Values的缩写，用半角逗号（’,’）作为字段值的分隔符。

Pandas中使用read_table来读取文本文件：
pandas.read_table(filepath_or_buffer, sep=’\t’, header=’infer’, names=None, index_col=None, dtype=None, engine=None, nrows=None)

Pandas中使用read_csv函数来读取CSV文件：
pandas.read_csv(filepath_or_buffer, sep=’，’, header=’infer’, names=None, index_col=None, dtype=None, engine=None, nrows=None)

read_table和read_csv常用参数及其说明：

文本文件的存储

文本文件的存储和读取类似，结构化数据可以通过pandas中的to_csv函数实现以CSV文件格式存储文件。

DataFrame.to_csv(path_or_buf = None, sep = ’,’, na_rep, columns=None, header=True, index=True, index_label=None, mode=’w’, encoding=None)

Excel文件的读取

Pandas提供了read_excel函数读取“xls”和“xlsx”两种excel文件，其格式为：
pandas.read_excel(io, sheetname, header=0, index_col=None, names=None, dtype)

read_excel函数和read_table函数的部分参数相同.


Excel文件的存储

将文件存储为Excel文件，可使用to_excel方法。其语法格式如下：
DataFrame.to_excel(excel_writer=None, sheetname=None’, na_rep=”, header=True, index=True, index_label&