Datawhale - 数据挖掘训练营 - Task3 特征工程

最新推荐文章于 2024-07-24 22:14:11 发布

amber_new

最新推荐文章于 2024-07-24 22:14:11 发布

阅读量299

点赞数 1

文章标签：数据挖掘机器学习人工智能

本文链接：https://blog.csdn.net/amber11211/article/details/105166067

版权

目标：进一步分析特征，处理数据，提取出好的特征（少而精）
内容：各种特征工程以及分析方法

准备工作 - 导入数据

%%导入计算包
import pandas as pd
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
import seaborn as sns
from operator import itemgetter

%%导入数据
train = pd.read_csv('data/train.csv', sep=' ')
test = pd.read_csv('data/testA.csv', sep=' ')
print(train.shape)
print(test.shape)

train.head()  %查看数据
train.columns %查看特征
test.columns

其中，operator模块提供的itemgetter函数用于获取对象的哪些维的数据，参考：https://www.cnblogs.com/zhoufankui/p/6274172.html

1. 异常处理

a. 什么是异常值

异常值也通常被称作离群点，是在数据集中存在的不合理的值，是样本中个别明显偏离其余值的观测值。
https://blog.csdn.net/qq_36874480/article/details/80176756

b. 为什么要处理异常值

异常值的存在会扰乱统计分析与机器学习的结果，使得模型更偏向于对异常值的过拟合，失去泛化能力。
https://blog.csdn.net/jianlin0402/article/details/104682282/

c. 如何检测出异常值

https://blog.csdn.net/qq_36874480/article/details/80176756
https://zhuanlan.zhihu.com/p/103776581
（1）简单统计分析方法：对属性值进行一个描述性（经验）的统计，从而看出哪些值是不合理的

（2）基于高斯分布的异常点检测：根据已有数据集，建立高斯分布的模型，通过新数据和已知分布的差异进行判断是否异常值

（3）基于标准偏差（3δ原则）的异常值检测：如果数据服从正态分布，异常值被定义为一组测定值中与平均值的偏差超过3倍的值

（4）箱型图：根据四分位数，大于或小于设定的上下界的数值即为异常值，详情可参考https://blog.csdn.net/sscc_learning/article/details/78771324?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
https://blog.csdn.net/clairliu/article/details/79217546?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

（5）基于（马氏距离，欧式距离）距离：利用聚类的思想，对数据进行聚类，排除距离中心最远的n个点，一般算法：kmeans，knn等

（6）其他高级算法：局部异常因子LOF算法，孤立森林iForest等。

d. 处理方式 - 删除 / 修正填补

https://blog.csdn.net/qq_36874480/article/details/80176756
（1）如果异常值数目较小且不是主要观察目标，直接删除含有异常值的样本。

（2）视为缺失值：利用缺失值处理的方法进行处理

（3）平均值修正：可以用前后两个观测值的平均值修正该异常值

（4）不处理：可以直接在具有异常值的数据集上进行数据建模

e. 异常处理示例代码

%定义了一个函数，该函数利用箱型图可视化进行异常检测，找出异常值并清除，并画出处理前后的箱型图。
def outliers_proc(data, col_name, scale=3):
    """
    用于清洗异常值，默认用 box_plot（scale=3）进行清洗
    :param data: 接收 pandas 数据格式
    :param col_name: pandas 列名
    :param scale: 尺度
    :return:
    """

    def box_plot_outliers(data_ser, box_scale):
        """
        利用箱线图去除异常值
        :param data_ser: 接收 pandas.Series 数据格式
        :param box_scale: 箱线图尺度，
        :return:
        """
        iqr = box_scale * (data_ser.quantile(0.75) - data_ser.quantile(0.25))
        val_low = data_ser.quantile(0.25) - iqr
        val_up = data_ser.quantile(0.75) + iqr
        rule_low = (data_ser < val_low)
        rule_up = (data_ser > val_up)
        return (rule_low, rule_up), (val_low, val_up)

    data_n = data.copy()
    data_series = data_n[col_name]
    rule, value = box_plot_outliers(data_series, box_scale=scale)
    index = np.arange(data_series.shape[0])[rule[0] | rule[1]]
    print("Delete number is: {}".format(len(index)))
    data_n = data_n.drop(index)
    data_n.reset_index(drop=True, inplace=True)
    print("Now column number is: {}".format(data_n.shape[0]))
    index_low = np.arange(data_series.shape[0])[rule[0]]
    outliers = data_series.iloc[index_low]
    print("Description of data less than the lower bound is:")
    print(pd.Series(outliers).describe())
    index_up = np.arange(data_series.shape[0])[rule[1]]
    outliers = data_series.iloc[index_up]
    print("Description of data larger than the upper bound is:")
    print(pd.Series(outliers).describe())
    
    fig, ax = plt.subplots(1, 2, figsize=(10, 7))
    sns.boxplot(y=data[col_name], data=data, palette="Set1", ax=ax[0])
    sns.boxplot(y=data_n[col_name], data=data_n, palette="Set1", ax=ax[1])
    return data_n

输出

Delete number is: 963
Now column number is: 149037
Description of data less than the lower bound is:
count    0.0
mean     NaN
std      NaN
min      NaN
25%      NaN
50%      NaN
75%      NaN
max      NaN
Name: power, dtype: float64
Description of data larger than the upper bound is:
count      963.000000
mean       846.836968
std       1929.418081
min        376.000000
25%        400.000000
50%        436.000000
75%        514.000000
max      19312.000000
Name: power, dtype: float64

在这里插入图片描述

特征归一化/标准化 normalisation

https://zhuanlan.zhihu.com/p/103776581

a. What

normalisation是将数据按比例缩放，使之落入一个小的特定区间。

标准化：转换为标准正态分布
归一化：转换到 [0,1] 区间

b. Why

在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。

c. How

（1）0-1标准化（传统小型数据采用）：将数据的最大最小值记录下来，并通过Max-Min作为基数（即Min=0，Max=1）进行数据的归一化处理：
$x = (x - M i n) / (M a x - M i n)$

（2）Z-score标准化（大量数据采用）：是一个分数与平均数的差再除以标准差的过程：
$z = (x - μ) / σ$ ，其中x为某一具体分数，μ为平均数，σ为标准差，Z值的量代表着原始分数和母体平均值之间的距离，是以标准差为单位计算。在原始分数低于平均值时Z则为负数，反之则为正数。它的数学意义是，一个给定分数距离平均数多少个标准差?
（3）针对幂律分布，可以采用公式： $log(\frac{1+x}{1+median})$

d. 示例代码

# 取 log，在做归一化
from sklearn import preprocessing
min_max_scaler = preprocessing.MinMaxScaler()
data['power'] = np.log(data['power'] + 1) 
data['power'] = ((data['power'] - np.min(data['power'])) / (np.max(data['power']) - np.min(data['power'])))
data['power'].plot.hist()

# 直接做归一化
data['kilometer'] = ((data['kilometer'] - np.min(data['kilometer'])) / 
                        (np.max(data['kilometer']) - np.min(data['kilometer'])))
data['kilometer'].plot.hist()

数据分桶

https://blog.csdn.net/yanqianglifei/article/details/86581300
https://blog.csdn.net/Pylady/article/details/78882220
https://blog.csdn.net/hxcaifly/article/details/84593770

a. What

数据分桶 / 分箱是一种将多个连续值分组为较少数量的“分箱”的方法。

b. Why

分箱主要用于减少次要观察误差的影响。一般在建立分类模型时，需要对连续变量离散化，特征离散化后，模型会更稳定，降低了模型过拟合的风险。

离散后稀疏向量内积乘法运算速度更快，计算结果也方便存储，容易扩展；
离散后的特征对异常值更具鲁棒性，如 age>30 为 1 否则为 0，对于年龄为 200 的也不会对模型造成很大的干扰；
LR 属于广义线性模型，表达能力有限，经过离散化后，每个变量有单独的权重，这相当于引入了非线性，能够提升模型的表达能力，加大拟合；
离散后特征可以进行特征交叉，提升表达能力，由 M+N 个变量编程 M*N 个变量，进一步引入非线形，提升了表达能力；
特征离散后模型更稳定，如用户年龄区间，不会因为用户年龄长了一岁就变化

*分箱也用于图像处理，通过将相邻像素组合成单个像素，它可用于减少数据量。

c. How

等频分桶：区间的边界值要经过选择,使得每个区间包含大致相等的实例数量
等距分桶：从最小值到最大值之间,均分为 N 等份, 这样, 如果 A,B 为最小最大值, 则每个区间的长度为 W=(B−A)/N , 则区间边界值为A+W,A+2W,….A+(N−1)W
卡方分桶：依赖于卡方检验，具有最小卡方值的相邻区间合并在一起,直到满足确定的停止准则
Best-KS 分桶（类似利用基尼指数进行二分类）

d. 示例代码

# 数据分桶 以 power 为例
bin = [i*10 for i in range(31)]
data['power_bin'] = pd.cut(data['power'], bin, labels=False)
data[['power_bin', 'power']].head()

缺失值处理

https://zhuanlan.zhihu.com/p/33996846
https://blog.csdn.net/lujiandong1/article/details/52654703

a. Why

缺失值本身是包含信息的。有些时候这些信息很重要，增加了系统的不确定性，可能导致不可靠的输出，所以要对缺失值进行合理处理。

b. How

不处理（针对类似 XGBoost 等树模型）；
删除（缺失数据太多）；
插值补全，包括均值/中位数/众数/建模预测/多重插补/压缩感知补全/矩阵补全等；
分箱，缺失值一个箱；
更多填充方式参考https://blog.csdn.net/lujiandong1/article/details/52654703

特征构造

https://zhuanlan.zhihu.com/p/45749927
https://www.jianshu.com/p/b6abbd3f80be

a. What

通过特征转换，提取一组特征，或选择一组特征作为特征子集。

b. Why

发现更有意义的特征属性，剔除不相关或者冗余的特征，减少特征纬度，以此减少模型训练的时间，提高模型的精确度。

c. How

（1）构造统计量特征，报告计数、求和、比例、标准差等；
（2）时间特征，包括相对时间和绝对时间，节假日，双休日等；
（3）地理信息，包括分箱，分布编码等方法；
（4）非线性变换，包括 log/ 平方/ 根号等；
（5）特征组合，特征交叉；
（6）仁者见仁，智者见智。

d. 示例代码

# 训练集和测试集放在一起，方便构造特征
train['train']=1
test['train']=0
data = pd.concat([train, test], ignore_index=True, sort=False)

# 对应方法（1）构造统计量特征
# 使用时间：data['creatDate'] - data['regDate']，反应汽车使用时间，一般来说价格与使用时间成反比
# 不过要注意，数据里有时间出错的格式，所以我们需要 errors='coerce'
data['used_time'] = (pd.to_datetime(data['creatDate'], format='%Y%m%d', errors='coerce') - 
                            pd.to_datetime(data['regDate'], format='%Y%m%d', errors='coerce')).dt.days
data['used_time'].isnull().sum()


# 对应方法（3）
# 从邮编中提取城市信息，因为是德国的数据，所以参考德国的邮编，相当于加入了先验知识
data['city'] = data['regionCode'].apply(lambda x : str(x)[:-3])

# 对应方法（1）
# 计算某品牌的销售统计量，同学们还可以计算其他特征的统计量
# 这里要以 train 的数据计算统计量
train_gb = train.groupby("brand")
all_info = {}
for kind, kind_data in train_gb:
    info = {}
    kind_data = kind_data[kind_data['price'] > 0]
    info['brand_amount'] = len(kind_data)
    info['brand_price_max'] = kind_data.price.max()
    info['brand_price_median'] = kind_data.price.median()
    info['brand_price_min'] = kind_data.price.min()
    info['brand_price_sum'] = kind_data.price.sum()
    info['brand_price_std'] = kind_data.price.std()
    info['brand_price_average'] = round(kind_data.price.sum() / (len(kind_data) + 1), 2)
    all_info[kind] = info
brand_fe = pd.DataFrame(all_info).T.reset_index().rename(columns={"index": "brand"})
data = data.merge(brand_fe, how='left', on='brand')

特征筛选

a. Why

发现更有意义的特征属性，减少模型训练时间，提高模型精度。

b. How

（1）过滤式（filter）：先对数据进行特征选择，然后在训练学习器，常见的方法有 Relief/方差选择发/相关系数法/卡方检验法/互信息法；
（2）包裹式（wrapper）：直接把最终将要使用的学习器的性能作为特征子集的评价准则，常见方法有 LVM（Las Vegas Wrapper）；
（3）嵌入式（embedding）：结合过滤式和包裹式，学习器训练过程中自动进行了特征选择，常见的有 lasso 回归；

降维

a. Why

减少特征纬度，以此减少模型训练的时间，提高模型的精确度。

c. How

（1）PCA/ LDA/ ICA
（2）特征选择

amber_new

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Datawhale - 数据挖掘训练营 - Task3 特征工程

目标：进一步分析特征，处理数据，提取出好的特征（少而精）内容：各种特征工程以及分析方法准备工作 - 导入数据%%导入计算包import pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as pltimport seaborn as snsfrom operator import i...
复制链接

扫一扫