python异常值处理箱型图_Python对数据进行预处理详解（缺失值处理、重复值处理、异常值处理）...

Python对数据进行预处理详解：缺失值处理、重复值处理、异常值处理、索引设置，选择指定的行或列。

1、预览数据的前几行，获取数据表大小

import pandas as pddf=pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月.xls",index_col=2)print(df.head())         #head()默认展示前5行数据print(df.shape)#利用shape获取数据表的大小

2、利用info获取数据类型

import pandas as pddf=pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月.xls",index_col=3)print(df.info())

3、利用describe获取数据分布情况

import pandas as pddf=pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月.xls",index_col=3)print(df.describe())

4、缺失值处理

import pandas as pddf=pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月.xls",index_col=3)print(df.info()) #可查看每一列缺失情况。df=df.dropna()#对所有缺失数据行进行删除，可传入how="all"对全空进行删除。

5、对缺失值填充fillna()

import pandas as pddf=pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月.xls",header=1)print(df.info())df=df.fillna(0)#对缺失值使用0填充

6、重复值处理

df=pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月.xls",header=1)print(df.info())df=df.drop_duplicates(subset="日期")#对日期重复行进行删除。可能过keep参数保留第一个或最后一个或不保留

7、数据类型转换

import pandas as pddf=pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月.xls",header=1)df=df.dropna()print(df["总发电量"].dtype)#查看数据类型df["总发电量"].astype("S")#将数据类型更改为String

8、索引设置

df = pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月.xls", header=1)print(df.info())df = df.dropna()df.rename(columns={"Unnamed: 18": "兰坪公司发电量", "Unnamed: 19": "兰坪公司上网电量", "Unnamed: 20": "总发电量", "Unnamed: 21": "总上网电量"},          inplace=True) #对没名称的列，设置索引名，inplace对原对象进行修改df.to_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月2.xls")

9、选择行或者列

df = pd.read_excel(r"C:\Users\37364\Desktop\test\中小水电电量09月2.xls")print(df[["日期","总发电量","总上网电量"]])#选择指定列print(df.iloc[:,0:4])#选择连续列print(df.iloc[0:4])#选择第1行至第4行print(df[(df["总发电量.1.1"]>100) & (df["总发电量.1.1"]<120)])#选择满足条件的行print(df.iloc[1:3,5:10])#选择指定的行及列