1、空值处理
student_excel.xlsx如图:
import pandas as pd
#表头为第三行(索引为2)
df1=pd.read_excel(r'C:\Users\9250\Downloads\20201228课后资料\20201228课后资料\student_excel.xlsx',header=2)
print(df1)
print('*'*20)
# 判断每一列中是否包含Nan
# df.isnull().any()
# df.isnull().all() # 是否全是空值
#删除A列(全部无数据),且在原数据上进行更改
df1.dropna(how='all',axis=1,inplace=True)
#删除全为空的行
df1.dropna(how='all',axis=0,inplace=True)
#重置索引
df1.index=range(0,len(df1))
'''
method :
ffill(使用前一个值,使用的是左一个)
bfill(使用后一个值,使用的是右一个)
根据axis的设置
'''
#姓名这一列中的空值 基于空值上面的值填充 ffill,且在原数据上进行修改
df1['姓名'].fillna(method='ffill',inplace=True)
df1['分数'].fillna(method='bfill',inplace=True)
df1
# 填充全部
# df.fillna(0)
# 进行不同的列填充不同的值
# df.fillna({'分数':0,'姓名':'abc'})
2、去重
import pandas as pd
df2=pd.DataFrame({
'A':[1,1,1,2,2,3,1,5],'B':list("aabbbcad")})
display(df2)
#判断该行是否重复 重复返回true
df2.duplicated()
#删除重复的行 keep='first'保留一开始出现的 keep='last'保留最后出现的
df2.drop_duplicates(keep='first')
#基于B列进行重复删除
df2.drop_duplicates(subset=['B'])
3、无穷大(inf)的处理
'''
0/0=0,非0/0=无穷大
可将inf替换成nan
df.replace(np.inf,np.NaN)
'''
4、分组、聚合、agg
# 分组
impo