众数填充数据缺失值

 

目录

1.定义函数

2.调用函数

3.过采样

4.保存数据

---

  本代码将实现使用众数填充数据中的缺失值。

1.定义函数

  此函数定义在名为fill_data的文件中。

def mode_train_method(data):
    '''数据集中的空值使用每列的众数替代, pandas中的mode方法获取众数'''
    fill_values = data.apply(lambda x: x.mode().iloc[0] if len(x.mode()) > 0 else None) 
    # 每个特征的众数不唯一，获取第一行的众数，即所有特征的第一个众数
    # data.apply对DataFrame的每一列应用一个函数，用于找出每列中出现次数最多的值(即众数)。
    a = data.mode()  # 获取每列的众数，氯中的众数比较多，一共10个，因此会列出10行，其他列不够，则用nan表示。
    return data.fillna(fill_values)  

def mode_train_fill(train_data, train_label):
    data = pd.concat([train_data, train_label], axis=1) #组合数据
    data = data.reset_index(drop=True)
    A = data[data['矿物类型'] == 0]
    B = data[data['矿物类型'] == 1]
    C = data[data['矿物类型'] == 2]
    D = data[data['矿物类型'] == 3]

    A = mode_train_method(A)  # 按照每个类别的数据进行填充
    B = mode_train_method(B)
    C = mode_train_method(C)
    D = mode_train_method(D)

    df_filled = pd.concat([A, B, C, D])
    df_filled = df_filled.reset_index(drop=True)
    return df_filled.drop('矿物类型', axis = 1), df_filled.矿物类型 # 返回特征和标签

def mode_test_method(train_data, test_data):
    fill_values = train_data.apply(lambda x: x.mode().iloc[0] if len(x.mode()) > 0 else None)   # 使用训练集的众数
    return test_data.fillna(fill_values)

def mode_test_fill(train_data , train_label, test_data, test_label):
    train_data_all = pd.concat([train_data, train_label], axis=1)
    train_data_all = train_data_all.reset_index(drop=True)
    test_data_all = pd.concat([test_data, test_label], axis=1)
    test_data_all = test_data_all.reset_index(drop=True)

    A_train = train_data_all[train_data_all['矿物类型'] == 0]
    B_train = train_data_all[train_data_all['矿物类型'] == 1]
    C_train = train_data_all[train_data_all['矿物类型'] == 2]
    D_train = train_data_all[train_data_all['矿物类型'] == 3]

    A_test = test_data_all[test_data_all['矿物类型'] == 0]
    B_test = test_data_all[test_data_all['矿物类型'] == 1]
    C_test = test_data_all[test_data_all['矿物类型'] == 2]
    D_test = test_data_all[test_data_all['矿物类型'] == 3]

    A = mode_test_method(A_train, A_test) # 按照每个类别的数据进行填充
    B = mode_test_method(B_train, B_test)
    C = mode_test_method(C_train, C_test)
    D = mode_test_method(D_train, D_test)

    df_filled = pd.concat([A, B, C, D])
    df_filled = df_filled.reset_index(drop=True)
    return df_filled.drop('矿物类型', axis = 1), df_filled.矿物类型

2.调用函数

# 使用众数的方法对数据进行填充
x_train_fill,y_train_fill = fill_data.mode_train_fill(x_train_w,y_train_w)
#测试集的填充
x_test_fill,y_test_fill = fill_data.mode_test_fill(x_train_fill, y_train_fill, x_test_w, y_test_w)

3.过采样

'''smote算法实现数据集的拟合'''
from imblearn.over_sampling import SMOTE
oversampler = SMOTE(k_neighbors=1, random_state=42)# 数据对象
os_x_train, os_y_train = oversampler.fit_resample(x_train_fill, y_train_fill)

4.保存数据

data_train = pd.concat([os_y_train, os_x_train], axis=1).sample (frac=1, random_state=4) 
# 训练集需要打乱 sample()方法用于从DataFrame中随机抽取行
data_test = pd.concat([y_test_fill, x_test_fill], axis=1) #测试集不用传入模型训练，无需打乱顺序。
data_train.to_excel(r'.//temp_data//训练数据集[众数填充].xlsx', index = False)
data_test.to_excel(r'.//temp_data//测试数据集[众数填充].xlsx', index = False)