数据挖掘学习记录二

数据挖掘的学习和细节思考

本次学习是在二手车价格数据的分析的基础上，根据他人的文章进行研究学习。通过细分步骤和深究每一步的意义，对于数据挖掘有一个更好的认识。
参考链接为：Datawhale 零基础入门数据挖掘-Task3 特征工程

一、删除异常值

先放上学习代码：
以对POWER进行清洗为例

def outliers_proc(data, col_name, scale=3):
    """
    用于清洗异常值，默认用 box_plot（scale=3）进行清洗
    :param data: 接收 pandas 数据格式
    :param col_name: pandas 列名
    :param scale: 尺度
    :return:
    """

    def box_plot_outliers(data_ser, box_scale):
        """
        利用箱线图去除异常值
        :param data_ser: 接收 pandas.Series 数据格式
        :param box_scale: 箱线图尺度，
        :return:
        """
        iqr = box_scale * (data_ser.quantile(0.75) - data_ser.quantile(0.25))#获取IQR等于上四分位数减下四分位数
        val_low = data_ser.quantile(0.25) - iqr#下边缘
        val_up = data_ser.quantile(0.75) + iqr#上边缘
        rule_low = (data_ser < val_low)
        rule_up = (data_ser > val_up)
        return (rule_low, rule_up), (val_low, val_up)#返回箱线图的

    data_n = data.copy()#对数据进行复制，由于数据不存在二级目录，所以是深复制，相当于重建了一个样本
    data_series = data_n[col_name]#取要进行清理的那一列
    rule, value = box_plot_outliers(data_series, box_scale=scale)#将数据代入
    index = np.arange(data_series.shape[0])[rule[0] | rule[1]]
    print("Delete number is: {}".format(len(index)))
    data_n = data_n.drop(index)
    data_n.reset_index(drop=True, inplace=True)
    print("Now column number is: {}".format(data_n.shape[0]))
    index_low = np.arange(data_series.shape[0])[rule[0]]
    outliers = data_series.iloc[index_low]
    print("Description of data less than the lower bound is:")
    print(pd.Series(outliers).describe())
    index_up = np.arange(data_series.shape[0])[rule[1]]
    outliers = data_series.iloc[index_up]
    print("Description of data larger than the upper bound is:")
    print(pd.Series(outliers).describe())

    fig, ax = plt.subplots(1, 2, figsize=(10, 7))
    sns.boxplot(y=data[col_name], data=data, palette="Set1", ax=ax[0])
    sns.boxplot(y=data_n[col_name], data=data_n, palette="Set1", ax=ax[1])
    return data_n

Train_data=outliers_proc(Train_data,'power',scale=3)

结果如图：

前一个是未处理的图像，后一个是处理后的图像

分析：

1. 由于操作的主要目的是去掉异常值，box_plot_outliers()对于箱型图的构造不需要太过精确，只需要确定异常值即可。
2. 箱线图尺度，增大尺度会使异常值的判定范围缩小，更向极端情况靠拢（精确）

二、特征构造

1.进行统计

计算某品牌的销售统计量，这里以train的数据进行计算

Train_gb = Train_data.groupby("brand")
all_info = {}
for kind, kind_data in Train_gb:
    info = {}
    kind_data = kind_data[kind_data['price'] > 0]
    info['brand_amount'] = len(kind_data)#品牌总数
    info['brand_price_max'] = kind_data.price.max()#最大价格
    info['brand_price_median'] = kind_data.price.median()#求矩阵中值
    info['brand_price_min'] = kind_data.price.min()#最低价格
    info['brand_price_sum'] = kind_data.price.sum()
    info['brand_price_std'] = kind_data.price.std()#标准差
    info['brand_price_average'] = round(kind_data.price.sum() / (len(kind_data) + 1), 2)
    all_info[kind] = info
brand_fe = pd.DataFrame(all_info).T.reset_index().rename(columns={"index": "brand"})
data = data.merge(brand_fe, how='left', on='brand')

2.数据分桶

数据分桶是把数据集分成更容易管理的若干部分的一种技术。

bin = [i*10 for i in range(31)]
data['power_bin'] = pd.cut(data['power'], bin, labels=False)#用于对数据从最大值到最小值进行等距划分
data[['power_bin', 'power']].head()

进行数据分桶的原因：

1. 离散后稀疏向量内积乘法运算速度更快，计算结果也方便存储，容易扩展；
2. 离散后的特征对异常值更具鲁棒性，如 age>30 为 1 否则为 0，对于年龄为 200 的也不会对模型造成很大的干扰；
3. LR 属于广义线性模型，表达能力有限，经过离散化后，每个变量有单独的权重，这相当于引入了非线性，能够提升模型的表达能力，加大拟合；
4. 离散后特征可以进行特征交叉，提升表达能力，由 M+N 个变量编程 M*N 个变量，进一步引入非线形，提升了表达能力；
5. 特征离散后模型更稳定，如用户年龄区间，不会因为用户年龄长了一岁就变化

解释：
2.鲁棒性是一个系统或组织有抵御或克服不利条件的能力。往往在机器学习中会加入噪声，测试其鲁棒性。
3.广义线性模型和LR：链接1
链接2
4.特征组合&特征交叉 (Feature Crosses)

3.图像分析

长尾分布：链接
相关
归一化：链接【详细解释了原理和应用】

三、特征筛选

学习链接：
特征工程系列：特征筛选的原理与实现（上）
补充内容：线性与非线性
1.两个变量之间的关系是一次函数关系的——图象是直线，这样的两个变量之间的关系就是“线性关系”；如果不是一次函数关系的——图象不是直线，就是“非线性关系”。
2.比如说y=kx 就是线形的 而y=x^2就是非线形的 线形的图形一般是一条直线。

特征工程系列：特征筛选的原理与实现（下）

四、降维处理

压缩原有数据矩阵的规模，将特征向量的维数降低，挑选出最少的维数来概括最重要特征
数据降维
PCR技术