python pandas处理数据的优点_Python pandas之数据处理

数据写入

我们可以将数据写入到文件中进行永久性的保存，支持的文件格式有HTML、CSV、JSON、Excel。

csv是最为常见的以纯文本文件存储数据文件的格式，它的优点是通用性很强，不受操作系统以及具体的软件的限制。我们以写入csv为例，看一下pandas是如何是将数据写入csv文件中。

from pandas import Series,DataFrame

# 使用字典创建

index_list = ['001','002','003','004','005','006','007','008','009','010']

name_list = ['李白','王昭君','诸葛亮','狄仁杰','孙尚香','妲己','周瑜','张飞','王昭君','大乔']

age_list = [25,28,27,25,30,29,25,32,28,26]

salary_list = ['10k','12.5k','20k','14k','12k','17k','18k','21k','22k','21.5k']

marital_list = ['NO','NO','YES','YES','NO','NO','NO','YES','NO','YES']

dic={

'姓名': Series(data=name_list,index=index_list),

'年龄': Series(data=age_list,index=index_list),

'薪资': Series(data=salary_list,index=index_list),

'婚姻状况': Series(data=marital_list,index=index_list)

}

df=DataFrame(dic)

# 写入csv，path_or_buf为写入文本文件

df.to_csv(path_or_buf='./People_Information.csv', encoding='utf_8_sig')

print('end')

在上面的代码里，我们创建了一个DataFrame，接着通过to_csv()方法将DataFrame保存为csv文件。从结果中可以发现，to_csv()保存数据时，df的行索引作为一列被输出到csv文件中。

如何在保存csv文件的时候，不存储DataFrame的行索引信息呢，我们看下面的解决方法。

df.to_csv(path_or_buf='./People_Information.csv',index=False,encoding='utf_8_sig')

在to_csv方法中将参数index设置为False就可以不存储DataFrame的行索引信息。

to_csv()方法生成csv文件时，打开文件时都是乱码，encoding参数设置“utf_8_sig”后乱码就会消失。

数据读取

csv数据读取

import pandas as pd

df = pd.read_csv('/data/People_Information.csv')

print(df)

print(df.shape)

调用read_csv()方法并传入文件的路径，就可以将数据读取出来并且是DataFrame类型。read_csv()默认会将文件中的第一行作为数据的列索引。

当csv数据的第一行是一条脏数据，不符合我们要求，可以利用read_csv()中的header参数进行选择哪一行作为列索引。

import pandas as pd

people = pd.read_csv('/data/People.csv',header = 0)

print(people.columns)

import pandas as pd

people = pd.read_csv('/data/People.csv',header = 1)

print(people.head())

read_csv()的header参数默认是0，即取第一行的值；可以根据具体的要求设置header的值来确定列索引。如果都不满足的你的要求，可以将header设置为None，列索引值会使用默认的1、2、3、4，之后在自行设置。当指定了header的值，读出来的数据就是从该行开始向下切片，该行以上的数据会被忽略。

Excel文件读取

Excel文件的读取和csv的读取方式相似，read_csv()读取csv文件，read_excel()读取Excel文件。

import pandas as pd

sheet = pd.read_excel('/data/sheet.xlsx')

print(sheet.head())

to_csv()会比to_excel()少一个sheet_name的参数，这个参数就是可以指定表的名字。

import pandas as pd

sheet1 = pd.read_excel('/data/sheet.xlsx',sheet_name='sheet1')

print(sheet1.head())

sheet2 = pd.read_excel('/data/sheet.xlsx',sheet_name='sheet2')

print(sheet2.head())

在上面的代码里，我们引入了带有两个表的sheet.xlsx的Excel文件，两个表名分别为'sheet1'，'sheet2'，然后我们通过指定sheet_name的值，获取不同表中的数据。

删除数据

如果文件的单元格中没有值时，在使用pandas读取后就会用NaN表示，也就是我们常说的空值。在NumPy模块中提供了nan的值，如果你想要创建一个空值，可以使用下方代码：

from numpy import nan as NaN

注意，NaN其本身是一种float类型数据。但是，当NaN参与到数据计算中，最终的结果却永远都是NaN。所以，在我们不知道的情况下会影响我们的计算结果。

在DataFrame类型数据中，一般我们会将存在NaN的数据使用dropna()方法全部删掉：

df1 = df.dropna()

dropna()是删除空值数据的方法，默认将只要含有NaN的整行数据删掉，如果想要删除整行都是空值的数据需要添加how='all'参数。如果想要对列做删除操作，需要添加axis参数，axis=1表示列，axis=0表示行。我们也可以使用thresh参数筛选想要删除的数据，thresh=n保留至少有n个非NaN数据的行。

from numpy import nan as NaN

import pandas as pd

df = pd.read_excel('/data/rate.xlsx')

print(df.shape)

df1=df.dropna(how='all')

print(df1.shape)

df2=df.dropna(axis=1)

print(df2.shape)

df3=df.dropna(axis=0)

print(df3.shape)

df4=df.dropna(thresh=3)

print(df4.shape)

只是单纯的想删除数据，我们可以使用df.drop()方法：

DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)

labels ：就是要删除的行列的名字，用列表给定。

index： 直接指定要删除的行。

columns： 直接指定要删除的列。

inplace=False：默认该删除操作不改变原数据，而是返回一个执行删除操作后的新dataframe。

inplace=True：则会直接在原数据上进行删除操作，删除后无法返回。

根据参数我们可以总结出，删除行列有两种方式：

1.labels=None,axis=0 的组合

2.index或columns直接指定要删除的行或列

import pandas as pd

dic={

"name":['zhangsan','lisi','wangwu'],

"age":[23,32,24],

"weight":[60,65,55]

}

df=pd.DataFrame(data=dic)

print(df)

df1=df.drop(labels=[0,1],axis=0)# 删除第0行和第1行

print(df1)

df2=df.drop(columns='age',index=[0,1])

print(df2)

df3=df.drop(axis=1,columns='weight')# 删除列名为weight的列

print(df3)

空值的处理

对于空值我们可以将整条数据删除，也可以使用fillna()方法对空值进行填充。

df.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

注意：method参数不能与value参数同时出现。

import pandas as pd

df = pd.read_excel('/data/rate.xlsx')

# 用常数填充fillna

# print(df.fillna(0))

# 用一列的平均值填充

# print(df.fillna(df.mean()))

# 用前面的值来填充ffill

# print(df.fillna(method='ffill',axis=0))

重复数据的处理

重复数据的存在有时不仅会降低分析的准确度，也会降低分析的效率。所以我们在整理数据的时候应该将重复的数据删除掉。利用duplicated()函数可以返回每一行判断是否重复的结果(重复则为True)。

import pandas as pd

df = pd.read_excel('/data/rate.xlsx')

# 返回重复的结果

print(df.duplicated())

返回的是一个值为Bool类型的Series，如果当前行所有列的数据与前面的数据是重复的就返回True；反之，则返回False。可以使用drop_duplicates()将重复的数据行进行删除。

df.drop_duplicates()

我们也可以只可以通过判断某一列的重复数据，然后进行删除。

df.drop_duplicates(['CountryName'],inplace=False)

其中['CountryName']表示对比CountryName例数据是否有重复，inplace用来控制是否直接对原始数据进行修改。