流水账第十章

Numpy学习

数据的处理

import pandas as pd
import numpy as np
data = pd.read_csv("/Users/currystephen/Desktop/数据挖掘/Python数据分析与挖掘实战（第2版）/chapter7/demo/data/air_data.csv")

#判断是否存在缺失值
data_isnull = pd.isnull(data)    #对每个数值进行判断 ，出现False代表有值
data_any = np.any(pd.isnull(data))  #全数据判断：有一个True，返回True 说明有缺失值
print(data_any)
#等同于pd.notnull(data)     np.all(pd.notnull(data))  返回False说明有缺失值

#只用pandas
data_pd = pd.isnull(data).any() #判断每一列是否存在缺失值 False说明没有缺失值 True反之
print(data_pd)
#同理等于=  pd.notnull(data).all()   #False说明有缺失值 与上面相反

#缺失值处理
#1.删除缺失值
data1 = data.dropna()               #删除含有NA值的一整行数据  默认dropna(inplace=False)   Flase不会修改原数据  True会修改原数据
data_pd1 = pd.isnull(data1).any()  #将返回全False 表示data1没有缺失值

#2.替换缺失值  12行判断出 GENDER 、WORK_CITY 、WORK_CITY 、WORK_COUNTRY 、AGE 、SUM_YR_1 、SUM_YR_2  中含有缺失值
a = data["AGE"].fillna(data["AGE"].mean(),inplace=True)
data_pd = pd.isnull(data['AGE']).any() #判断是否有缺失值
print(data["WORK_CITY"])
#其他异常值处理
data_new = data.replace(to_replace=".",value=np.nan)   #将其他异常值替换成空值NaN
print(data_new["WORK_CITY"])
#然后在对空值进行处理 与上面一样
data1 = data_new.dropna(inplace=True)
print(data_new["WORK_CITY"])

#实现数据离散化
sr = pd.qcut(data["AGE"],4)  #对数据中"AGE"一列数值进行自动分组 分4组
counts = sr.value_counts()  #对四组分组各个多少个计数
print(counts)
print(sr)
#转化城one_hot
one_hot = pd.get_dummies(sr,prefix="年龄")
print(one_hot)

#自定义分组
bins = [6,35,41,48,110]
cut = pd.cut(data["AGE"],bins)
one_hot1 = pd.get_dummies(cut,prefix="年龄")
print(cut)
print(one_hot1)