缺失值处理

###############################缺失值处理##################################
### 删除缺失值
def Delete_null_rows(df,thresh):
    '''
    只保留至少有num个非NAN值的行
    '''
    if thresh == 0 :
        df.dropna(inplace=True)
    elif thresh > 0 :
        df.dropna(thresh=thresh,inplace = True)
    else:
        pass
    return df

def Delete_null_rate_row(df,row_rate):
    '''
    对于某一行，其特征值缺失达到指定比例及以上，将该行删除
    :param df: 原始数据集
    :param rate: 特征值的缺失比例
    :return: 处理后的数据集
    '''
    rows = len( df.index )
    for i in range(rows):
        row_null_rate = list(df.loc[i,:].isnull()).count(True)/len(list(df.loc[i,:].isnull()))
        if row_null_rate >= row_rate:
            print("删除第 %d 行" % i,'\n' )
            df.drop(i,inplace=True)
    df.reset_index(drop=True,inplace=True)
    return df

def Delete_null_rate_column(df,col_rate):
    '''
    对某一列，如果某一列的特征值缺失达到指定比例，则删除该列特征
    :param df: 原数据集
    :param col_rate: 指定列的缺失比例
    :return: 返回处理后的数据集
    '''
    rows = len( df.index )
    columns = len(df.columns)
    for j in range(columns):
        col_null_rate = list(df[j].isnull()).count(True)/rows
        if col_null_rate >= col_rate:
            df.drop([j],axis=1,inplace=True)
    return df


### 填补缺失值
def Fill_null(df,dict):
    '''
    不同的列存入不同的值，或者，给所有缺失值存入某个值
    '''
    df.fillna(dict,inplace=True)
    return df