数据挖掘训练营-特征工程学习笔记

最新推荐文章于 2024-05-23 20:03:15 发布
最新推荐文章于 2024-05-23 20:03:15 发布
阅读量794 收藏 24
点赞数 22
文章标签： 数据挖掘 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/love_88_0/article/details/136175216
版权

 本笔记为阿里云天池龙珠计划数据挖掘训练营的学习内容,链接为:

AI训练营数据挖掘-阿里云天池

三、 特征工程目标

Tip:此部分为零基础入门数据挖掘的 Task3 特征工程部分，带你来了解各种特征工程以及分析方法，欢迎大家后续多多交流。

赛题：零基础入门数据挖掘 - 二手车交易价格预测

项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/SecondHandCarPriceForecast

比赛地址：零基础入门数据挖掘 - 二手车交易价格预测_学习赛_天池大赛-阿里云天池的赛制

3.1 特征工程目标

  • 对于特征进行进一步分析，并对于数据进行处理

  • 完成对于特征工程的分析，并对于数据进行一些图表或者文字总结并打卡。

3.2 内容介绍

常见的特征工程包括：

  1. 异常处理：
    • 通过箱线图（或 3-Sigma）分析删除异常值；
    • BOX-COX 转换（处理有偏分布）；
    • 长尾截断；
  2. 特征归一化/标准化：
    • 标准化（转换为标准正态分布）；
    • 归一化（转换到 [0,1] 区间）；
    • 针对幂律分布，可以采用公式： 
  3. 数据分桶：
    • 等频分桶；
    • 等距分桶；
    • Best-KS 分桶（类似利用基尼指数进行二分类）；
    • 卡方分桶；
  4. 缺失值处理：
    • 不处理（针对类似 XGBoost 等树模型）；
    • 删除（缺失数据太多）；
    • 插值补全，包括均值/中位数/众数/建模预测/多重插补/压缩感知补全/矩阵补全等；
    • 分箱，缺失值一个箱；
  5. 特征构造：
    • 构造统计量特征，报告计数、求和、比例、标准差等；
    • 时间特征，包括相对时间和绝对时间，节假日，双休日等；
    • 地理信息，包括分箱，分布编码等方法；
    • 非线性变换，包括 log/ 平方/ 根号等；
    • 特征组合，特征交叉；
    • 仁者见仁，智者见智。
  6. 特征筛选
    • 过滤式（filter）：先对数据进行特征选择，然后再训练学习器，常见的方法有 Relief/方差选择法/相关系数法/卡方检验法/互信息法；
    • 包裹式（wrapper）：直接把最终将要使用的学习器的性能作为特征子集的评价准则，常见方法有 LVM（Las Vegas Wrapper） ；
    • 嵌入式（embedding）：结合过滤式和包裹式，学习器训练过程中自动进行了特征选择，常见的有 lasso 回归；
  7. 降维
    • PCA/ LDA/ ICA；
    • 特征选择也是一种降维。

3.3 代码示例

3.3.0 导入数据

import pandas as pd

import numpy as np

import matplotlib

import matplotlib.pyplot as plt

import seaborn as sns

%matplotlib inline

path = './data/'

## 1) 载入训练集和测试集；

train = pd.read_csv(path+'train.csv', sep=' ')

test = pd.read_csv(path+'testA.csv', sep=' ')

print(train.shape)

print(test.shape)
(150000, 31)

(50000, 30)

train.head()

[3]:

, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

SaleIDnameregDatemodelbrandbodyTypefuelTypegearboxpowerkilometer...v_5v_6v_7v_8v_9v_10v_11v_12v_13v_14
007362004040230.061.00.00.06012.5...0.2356760.1019880.1295490.0228160.097462-2.8818032.804097-2.4208210.7952920.914762
1122622003030140.012.00.00.0015.0...0.2647770.1210040.1357310.0265970.020582-4.9004822.096338-1.030483-1.7226740.245522
221487420040403115.0151.00.00.016312.5...0.2514100.1149120.1651470.0621730.027075-4.8467491.8035591.565330-0.832687-0.229963
337186519960908109.0100.00.01.019315.0...0.2742930.1103000.1219640.0333950.000000-4.5095991.285940-0.501868-2.438353-0.478699
4411108020120103110.051.00.00.0685.0...0.2280360.0732050.0918800.0788190.121534-1.8962400.9107830.9311102.8345181.923482

5 rows × 31 columns

train.columns

[4]:

Index(['SaleID', 'name', 'regDate', 'model', 'brand', 'bodyType', 'fuelType',
,       'gearbox', 'power', 'kilometer', 'notRepairedDamage', 'regionCode',
,       'seller', 'offerType', 'creatDate', 'price', 'v_0', 'v_1', 'v_2', 'v_3',
,       'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12',
,       'v_13', 'v_14'],
,      dtype='object')

test.columns

[5]:

Index(['SaleID', 'name', 'regDate', 'model', 'brand', 'bodyType', 'fuelType',
,       'gearbox', 'power', 'kilometer', 'notRepairedDamage', 'regionCode',
,       'seller', 'offerType', 'creatDate', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4',
,       'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13',
,       'v_14'],
,      dtype='object')

3.3.1 删除异常值

# 这里我包装了一个异常值处理的代码，可以随便调用。对于category类型特征不适用

def outliers_proc(data, col_name, scale=3):

    """

    用于清洗异常值，默认用 box_plot（scale=3）进行清洗

    :param data: 接收 pandas 数据格式

    :param col_name: pandas 列名

    :param scale: 尺度

    :return:

    """

    def box_plot_outliers(data_ser, box_scale):

        """

        利用箱线图去除异常值

        :param data_ser: 接收 pandas.Series 数据格式

        :param box_scale: 箱线图尺度，决定了箱线图的上、下边缘

        :return:

        """

                  # 四分位距

        iqr = box_scale * (data_ser.quantile(0.75) - data_ser.quantile(0.25))

        val_low = data_ser.quantile(0.25) - iqr  # 下边缘

        val_up = data_ser.quantile(0.75) + iqr  # 上边缘

        rule_low = (data_ser < val_low)  # 极小异常值

        rule_up = (data_ser > val_up)  # 极大异常值

        return (rule_low, rule_up), (val_low, val_up)

    data_n = data.copy()  # 浅拷贝

    data_series = data_n[col_name]  # 取某一列特征

    rule, value = box_plot_outliers(data_series, box_scale=scale)

          # 当rule[0]和rule[1]中每个位置上有一个值为True时，返回对应index，既当前特征中该位置的值为异常值，[ ]中需为Series类型

    index = np.arange(data_series.shape[0])[rule[0] | rule[1]]

    print("Delete number is: {}".format(len(index)))

    data_n = data_n.drop(index)  # 删除存在异常值的样本

    data_n.reset_index(drop=True, inplace=True)  # 重置索引，并将原来的索引丢弃

    print("Now column number is: {}".format(data_n.shape[0]))

    index_low = np.arange(data_series.shape[0])[rule[0]]  # 极小异常值的索引

    outliers = data_series.iloc[index_low]

    print("Description of data less than the lower bound is:")

    print(pd.Series(outliers).describe())  # 对极小异常值进行数据统计

    index_up = np.arange(data_series.shape[0])[rule[1]]

    outliers = data_series.iloc[index_up]

    print("Description of data larger than the upper bound is:")

    print(pd.Series(outliers).describe())  # 对极大异常值进行数据统计 

    fig, ax = plt.subplots(1, 2, figsize=(10, 7))

          # 在第一列展示原始特征，第二列展示删除异常值后的特征，删除异常值后的箱型图可读性更强

    sns.boxplot(y=data[col_name], data=data, palette="Set1", ax=ax[0])

    sns.boxplot(y=data_n[col_name], data=data_n, palette="Set1", ax=ax[1])

    return data_n

# 我们可以删掉一些异常数据，以 power 为例。 power特征没有极小异常值 

# 这里删不删同学可以自行判断

# 但是要注意 test 的数据不能删 = = 不能掩耳盗铃是不是

train = outliers_proc(train, 'power', scale=3)
Delete number is: 963

Now column number is: 149037

Description of data less than the lower bound is:

count    0.0

mean     NaN

std      NaN

min      NaN

25%      NaN

50%      NaN

75%      NaN

max      NaN

Name: power, dtype: float64

Description of data larger than the upper bound is:

count      963.000000

mean       846.836968

std       1929.418081

min        376.000000

25%        400.000000

50%        436.000000

75%        514.000000

max      19312.000000

Name: power, dtype: float64

​

3.3.2 特征构造

# 训练集和测试集放在一起，方便构造特征

train['train']=1

test['train']=0

  # 将训练集和测试集拼接，并重置索引

data = pd.concat([train, test], ignore_index=True, sort=False)

# 使用时间：data['creatDate'] - data['regDate']，反应汽车使用时间，一般来说价格与使用时间成反比

# 不过要注意，数据里有时间出错的格式，所以我们需要 errors='coerce'，遇到不满足格式的日期时置空（NaT），当creatDate和regDate中有一个为NaT时，两个特征的差同样为NaT

data['used_time'] = (pd.to_datetime(data['creatDate'], format='%Y%m%d', errors='coerce') -  pd.to_datetime(data['regDate'], format='%Y%m%d', errors='coerce')).dt.days

# 看一下空数据，有 15k 个样本的时间是有问题的，我们可以选择删除，也可以选择放着。

# 但是这里不建议删除，因为删除缺失数据占总样本量过大，7.5%

# 我们可以先放着，因为如果我们 XGBoost 之类的决策树，其本身就能处理缺失值，所以可以不用管；

data['used_time'].isnull().sum()

[10]:

15072

# 从邮编中提取城市信息，因为是德国的数据，所以参考德国的邮编，相当于加入了先验知识

data['city'] = data['regionCode'].apply(lambda x : str(x)[:-3])

# 计算某品牌的销售统计量，同学们还可以计算其他特征的统计量

# 这里要以 train 的数据计算统计量，没有使用拼接后的数据计算统计量，屏蔽测试集信息

train_gb = train.groupby("brand")

all_info = {}

  # 按brand分组后，逐个取每个分组

for kind, kind_data in train_gb:

    info = {}

          # 剔除异常价格样本

    kind_data = kind_data[kind_data['price'] > 0]

    info['brand_amount'] = len(kind_data)  # 某品牌的总样本数

    info['brand_price_max'] = kind_data.price.max()  # 某品牌的最大价格

    info['brand_price_median'] = kind_data.price.median()  # 某品牌价格的中位数

    info['brand_price_min'] = kind_data.price.min()  # 某品牌的最小价格

    info['brand_price_sum'] = kind_data.price.sum()  # 某品牌价格之和

    info['brand_price_std'] = kind_data.price.std()  # 某品牌价格的标准差

    info['brand_price_average'] = round(kind_data.price.sum() / (len(kind_data) + 1), 2)  # 某品牌价格的均值，保留小数点后两位

    all_info[kind] = info  # 将某品牌的统计量加入字典all_info

  # 将品牌统计量转化为数据帧，并进行转置、重置索引、修改列名操作

brand_fe = pd.DataFrame(all_info).T.reset_index().rename(columns={"index": "brand"})

  # 将品牌统计量数据帧拼接到data上，以data的brand为主键

data = data.merge(brand_fe, how='left', on='brand')

# 数据分桶以 power 为例

# 这时候我们的缺失值也进桶了，

# 为什么要做数据分桶呢，原因有很多，= =

# 1. 离散后稀疏向量内积乘法运算速度更快，计算结果也方便存储，容易扩展；

# 2. 离散后的特征对异常值更具鲁棒性，如 age>30 为 1 否则为 0，对于年龄为 200 的也不会对模型造成很大的干扰；

# 3. LR 属于广义线性模型，表达能力有限，经过离散化后，每个变量有单独的权重，这相当于引入了非线性，能够提升模型的表达能力，加大拟合；

# 4. 离散后特征可以进行特征交叉，提升表达能力，由 M+N 个变量变成 M*N 个变量，进一步引入非线形，提升了表达能力；

# 5. 特征离散后模型更稳定，如用户年龄区间，不会因为用户年龄长了一岁就变化

# 当然还有很多原因，LightGBM 在改进 XGBoost 时就增加了数据分桶，增强了模型的泛化性

bin = [i*10 for i in range(31)]

   # 将power特征值分入31个桶之内，使连续型特征值离散化

data['power_bin'] = pd.cut(data['power'], bin, labels=False)

data[['power_bin', 'power']].head()

[13]:

power_binpower
05.060
1NaN0
216.0163
319.0193
46.068
# 利用好了，就可以删掉原始数据了

data = data.drop(['creatDate', 'regDate', 'regionCode'], axis=1)

print(data.shape)

data.columns
(199037, 39)

[15]:

Index(['SaleID', 'name', 'model', 'brand', 'bodyType', 'fuelType', 'gearbox',
,       'power', 'kilometer', 'notRepairedDamage', 'seller', 'offerType',
,       'price', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8',
,       'v_9', 'v_10', 'v_11', 'v_12', 'v_13', 'v_14', 'train', 'used_time',
,       'city', 'brand_amount', 'brand_price_average', 'brand_price_max',
,       'brand_price_median', 'brand_price_min', 'brand_price_std',
,       'brand_price_sum', 'power_bin'],
,      dtype='object')

# 目前的数据其实已经可以给树模型使用了，所以我们导出一下，不保留行索引

data.to_csv('data_for_tree.csv', index=0)

# 我们可以再构造一份特征给 LR NN 之类的模型用

# 之所以分开构造是因为，不同模型对数据集的要求不同

# 我们看下数据分布：

data['power'].plot.hist()

[17]:

<AxesSubplot:ylabel='Frequency'>

​

# 我们刚刚已经对 train 进行异常值处理了，但是现在还有这么奇怪的分布是因为 test 中的 power 异常值，

# 所以我们其实刚刚 train 中的 power 异常值不删为好，可以用长尾分布截断来代替

train['power'].plot.hist()  # 删除power异常值之后的训练集分布，接近正态分布

[18]:

<AxesSubplot:ylabel='Frequency'>

​

# 我们对其取log，再做归一化

data['power'] = np.log(data['power'] + 1)  # +1防止power的值为0

  # np.min(data['power'])可以用data['power'].min()

data['power'] = ((data['power'] - np.min(data['power'])) / (np.max(data['power']) - np.min(data['power'])))

data['power'].plot.hist()

[19]:

<AxesSubplot:ylabel='Frequency'>

​

# km的比较正常，应该是已经做过分桶了

data['kilometer'].plot.hist()

[20]:

<AxesSubplot:ylabel='Frequency'>

​

# 所以我们可以直接做归一化

data['kilometer'] = ((data['kilometer'] - np.min(data['kilometer'])) / 

                        (np.max(data['kilometer']) - np.min(data['kilometer'])))

data['kilometer'].plot.hist()

[21]:

<AxesSubplot:ylabel='Frequency'>

​

# 除此之外 还有我们刚刚构造的统计量特征：

# 'brand_amount', 'brand_price_average', 'brand_price_max',

# 'brand_price_median', 'brand_price_min', 'brand_price_std',

# 'brand_price_sum'

# 这里不再一一举例分析了，直接做变换，

def max_min(x):

    return (x - np.min(x)) / (np.max(x) - np.min(x))

data['brand_amount'] = max_min(data['brand_amount'])

data['brand_price_average'] = max_min(data['brand_price_average'])

data['brand_price_max'] = max_min(data['brand_price_max'])
data['brand_price_median'] = max_min(data['brand_price_median'])
data['brand_price_min'] = max_min(data['brand_price_min'])
data['brand_price_std'] = max_min(data['brand_price_std'])
data['brand_price_sum'] = max_min(data['brand_price_sum'])
# 对类别特征进行 OneEncoder，独热编码

data = pd.get_dummies(data, columns=['model', 'brand', 'bodyType', 'fuelType',

                                    'gearbox','notRepairedDamage','power_bin'])

print(data.shape)

data.columns
(199037, 370)

[24]:

Index(['SaleID', 'name', 'power', 'kilometer', 'seller', 'offerType', 'price',
,       'v_0', 'v_1', 'v_2',
,       ...
,       'power_bin_20.0', 'power_bin_21.0', 'power_bin_22.0', 'power_bin_23.0',
,       'power_bin_24.0', 'power_bin_25.0', 'power_bin_26.0', 'power_bin_27.0',
,       'power_bin_28.0', 'power_bin_29.0'],
,      dtype='object', length=370)

# 这份数据可以给 LR 用

data.to_csv('data_for_lr.csv', index=0)

3.3.3 特征筛选

1) 过滤式

# 相关性分析，斯皮尔曼等级相关系数没有皮尔曼相关系数严格，无需两个观测值是正态分布，或者接近正态分布

print(data['power'].corr(data['price'], method='spearman'))

print(data['kilometer'].corr(data['price'], method='spearman'))

print(data['brand_amount'].corr(data['price'], method='spearman'))

print(data['brand_price_average'].corr(data['price'], method='spearman'))

print(data['brand_price_max'].corr(data['price'], method='spearman'))

print(data['brand_price_median'].corr(data['price'], method='spearman'))
0.5728285196051496

-0.4082569701616764

0.058156610025581514

0.3834909576057687

0.259066833880992

0.38691042393409447

# 当然也可以直接看图

data_numeric = data[['power', 'kilometer', 'brand_amount', 'brand_price_average', 

                     'brand_price_max', 'brand_price_median']]

correlation = data_numeric.corr()

f , ax = plt.subplots(figsize = (7, 7))

plt.title('Correlation of Numeric Features with Price',y=1,size=16)

sns.heatmap(correlation,square = True,  vmax=0.8)

[27]:

<AxesSubplot:title={'center':'Correlation of Numeric Features with Price'}>

​

2) 包裹式

!pip install mlxtend
Defaulting to user installation because normal site-packages is not writeable

Looking in indexes: https://mirrors.aliyun.com/pypi/simple

Collecting mlxtend

  Downloading https://mirrors.aliyun.com/pypi/packages/4c/0d/4a73b8bc49e2cfee178fe50dd8e84d5ba817d0b2454b09308397416e0e48/mlxtend-0.17.3-py2.py3-none-any.whl (1.3 MB)

     |████████████████████████████████| 1.3 MB 1.4 MB/s eta 0:00:011.4 MB/s eta 0:00:01

Requirement already satisfied: scipy>=1.2.1 in /opt/conda/lib/python3.6/site-packages (from mlxtend) (1.5.4)

Requirement already satisfied: numpy>=1.16.2 in /opt/conda/lib/python3.6/site-packages (from mlxtend) (1.19.1)

Requirement already satisfied: scikit-learn>=0.20.3 in /opt/conda/lib/python3.6/site-packages (from mlxtend) (0.23.2)

Collecting pandas>=0.24.2

  Downloading https://mirrors.aliyun.com/pypi/packages/4d/51/bafcff417cd857bc6684336320863b5e5af280530213ef8f534b6042cfe6/pandas-1.1.4-cp36-cp36m-manylinux1_x86_64.whl (9.5 MB)

     |████████████████████████████████| 9.5 MB 108.1 MB/s eta 0:00:01

Requirement already satisfied: joblib>=0.13.2 in /opt/conda/lib/python3.6/site-packages (from mlxtend) (0.17.0)

Requirement already satisfied: setuptools in /opt/conda/lib/python3.6/site-packages (from mlxtend) (49.6.0)

Requirement already satisfied: matplotlib>=3.0.0 in /opt/conda/lib/python3.6/site-packages (from mlxtend) (3.3.3)

Requirement already satisfied: threadpoolctl>=2.0.0 in /opt/conda/lib/python3.6/site-packages (from scikit-learn>=0.20.3->mlxtend) (2.1.0)

Requirement already satisfied: pytz>=2017.2 in /opt/conda/lib/python3.6/site-packages (from pandas>=0.24.2->mlxtend) (2020.4)

Requirement already satisfied: python-dateutil>=2.7.3 in /opt/conda/lib/python3.6/site-packages (from pandas>=0.24.2->mlxtend) (2.8.1)

Requirement already satisfied: pyparsing!=2.0.4,!=2.1.2,!=2.1.6,>=2.0.3 in /opt/conda/lib/python3.6/site-packages (from matplotlib>=3.0.0->mlxtend) (2.4.7)

Requirement already satisfied: pillow>=6.2.0 in /opt/conda/lib/python3.6/site-packages (from matplotlib>=3.0.0->mlxtend) (8.0.1)

Requirement already satisfied: cycler>=0.10 in /opt/conda/lib/python3.6/site-packages (from matplotlib>=3.0.0->mlxtend) (0.10.0)

Requirement already satisfied: kiwisolver>=1.0.1 in /opt/conda/lib/python3.6/site-packages (from matplotlib>=3.0.0->mlxtend) (1.2.0)

Requirement already satisfied: six>=1.5 in /opt/conda/lib/python3.6/site-packages (from python-dateutil>=2.7.3->pandas>=0.24.2->mlxtend) (1.15.0)

Installing collected packages: pandas, mlxtend

Successfully installed mlxtend-0.17.3 pandas-1.1.4

# k_feature 太大会很难跑，没服务器，所以提前 interrupt 了

from mlxtend.feature_selection import SequentialFeatureSelector as SFS

from sklearn.linear_model import LinearRegression

sfs = SFS(LinearRegression(),  # 线性回归算法

           k_features=10,  # 选择10个特征

           forward=True,  # 前向选择

           floating=False, # 不使用悬浮搜索算法，一般和前向选择配套使用

           scoring = 'r2',  # 评估指标，用于回归模型

           cv = 0)  # 不使用交叉验证

x = data.drop(['price'], axis=1)  # 将price列剔除后赋值给x

numerical_cols = x.select_dtypes(exclude = 'object').columns  # 如果包含object类型特征，sfs会报错

x = x[numerical_cols]

x = x.fillna(0)  # 用0填充缺失值

y = data['price'].fillna(0)

sfs.fit(x, y)

sfs.k_feature_names_

[31]:

('kilometer',
, 'v_0',
, 'v_3',
, 'v_7',
, 'train',
, 'used_time',
, 'brand_price_average',
, 'brand_price_std',
, 'model_167.0',
, 'gearbox_1.0')

# 画出来，可以看到边际效益

from mlxtend.plotting import plot_sequential_feature_selection as plot_sfs

import matplotlib.pyplot as plt

  # 以字典的方式返回LR模型对特征子集各个特征组合进行评估的结果，评估方法：标准偏差

fig1 = plot_sfs(sfs.get_metric_dict(), kind='std_dev')

plt.grid()

plt.show()
/opt/conda/lib/python3.6/site-packages/numpy/core/_methods.py:234: RuntimeWarning: Degrees of freedom <= 0 for slice

  keepdims=keepdims)

/opt/conda/lib/python3.6/site-packages/numpy/core/_methods.py:226: RuntimeWarning: invalid value encountered in double_scalars

  ret = ret.dtype.type(ret / rcount)

​

3) 嵌入式

# 下一章介绍，Lasso 回归和决策树可以完成嵌入式特征选择

# 大部分情况下都是用嵌入式做特征筛选

3.4 经验总结

特征工程是比赛中最至关重要的的一块，特别的传统的比赛，大家的模型可能都差不多，调参带来的效果增幅是非常有限的，但特征工程的好坏往往会决定了最终的排名和成绩。

特征工程的主要目的还是在于将数据转换为能更好地表示潜在问题的特征，从而提高机器学习的性能。比如，异常值处理是为了去除噪声，填补缺失值可以加入先验知识等。

特征构造也属于特征工程的一部分，其目的是为了增强数据的表达。

有些比赛的特征是匿名特征，这导致我们并不清楚特征相互之间的关联性，这时我们就只有单纯基于特征进行处理，比如装箱，groupby，agg 等这样一些操作进行一些特征统计，此外还可以对特征进行进一步的 log，exp 等变换，或者对多个特征进行四则运算（如上面我们算出的使用时长），多项式组合等然后进行筛选。由于特性的匿名性其实限制了很多对于特征的处理，当然有些时候用 NN 去提取一些特征也会达到意想不到的良好效果。

对于知道特征含义（非匿名）的特征工程，特别是在工业类型比赛中，会基于信号处理，频域提取，丰度，偏度等构建更为有实际意义的特征，这就是结合背景的特征构建，在推荐系统中也是这样的，各种类型点击率统计，各时段统计，加用户属性的统计等等，这样一种特征构建往往要深入分析背后的业务逻辑或者说物理原理，从而才能更好的找到 magic。

当然特征工程其实是和模型结合在一起的，这就是为什么要为 LR NN 做分桶和特征归一化的原因，而对于特征的处理效果和特征重要性等往往要通过模型来验证。

总的来说，特征工程是一个入门简单，但想精通非常难的一件事。

Task 3-特征工程 END.

--- By: 阿泽

PS：复旦大学计算机研究生
知乎：阿泽 https://www.zhihu.com/people/is-aze（主要面向初学者的知识整理）
love_88_0
关注
  • 22
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《数据挖掘概念与技术》-思维导图学习笔记，第一章。
03-24
《数据挖掘概念与技术》第三版，思维导图学习笔记，第一章，（MindMaster），源文件，打开可用。
数据挖掘训练营-数据分析学习笔记
love_88_0的博客
02-19 1425
载入各种数据科学以及可视化库:数据科学库 pandas、numpy、scipy；可视化库 matplotlib、seabon；其他；载入数据：载入训练集和测试集；简略观察数据(head()+shape)；数据总览:通过describe()来熟悉数据的相关统计量通过info()来熟悉数据类型判断数据缺失和异常查看每列的存在nan情况异常值检测了解预测值的分布总体分布概况（无界约翰逊分布等）查看skewness and kurtosis。
天池龙珠-数据挖掘训练营03特征工程学习笔记
landaxuesheng的博客
04-07 74
本学习笔记为阿里云天池龙珠计划Docker训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/activity/promotion/aicampdm 一、学习知识点概要 特征工程 二、学习内容 1.异常处理： # 这里我包装了一个异常值处理的代码，可以随便调用。 def outliers_proc(data, col_name, scale=3): """ 用于清洗异常值，默认用 box_plot（scale=3）进行清洗 :pa
数据挖掘训练营-建模调参学习笔记
love_88_0的博客
03-22 1633
线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线；嵌入式特征选择：Lasso回归；Ridge回归；决策树；模型对比：常用线性模型；常用非线性模型；模型调参：贪心调参方法；网格调参方法；贝叶斯调参方法；由于相关算法原理篇幅较长，本文推荐了一些博客与教材供初学者们进行学习。
数据挖掘训练营特征学习笔记
weixin_51344301的博客
11-06 83
特征工程是比赛中最至关重要的的一块，特别的传统的比赛，大家的模型可能都差不多，调参带来的效果增幅是非常有限的，但特征工程的好坏往往会决定了最终的排名和成绩。特征工程的主要目的还是在于将数据转换为能更好地表示潜在问题的特征，从而提高机器学习的性能。比如，异常值处理是为了去除噪声，填补缺失值可以加入先验知识等。特征构造也属于特征工程的一部分，其目的是为了增强数据的表达。
数据挖掘训练营数据分析学习笔记
weixin_51344301的博客
11-05 78
对于数据的初步分析（直接查看数据，或.sum(), .mean()，.descirbe()等统计函数）可以从：样本数量，训练集数量，是否有时间特征，是否是时许问题，特征所表示的含义（非匿名特征），特征类型（字符类似，int，float，time），特征的缺失情况（注意缺失的在数据中的表现形式，有些是空的有些是”NAN”符号等），特征的均值方差情况。
天池龙珠数据挖掘训练营 Task3 学习笔记（特征工程）
水滴的博客
04-05 169
天池龙珠数据挖掘训练营学习笔记(3) --特征工程 本节介绍了数据的特征工程，进一步的数据处理，包括异常值处理，缺失值处理，特征归一化或标准化，数据分桶（分组），特征构造，特征筛选
数据挖掘训练营建模调参学习笔记
cp4Garvey的博客
11-11 159
本学习笔记为阿里云天池龙珠计划数据挖掘训练营的学习内容，学习链接为：-天池实验室-实时在线的数据分析协作工具，享受免费计算资源 (aliyun.com) 一、学习知识点概要 了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程 5.3.1 线性回归模型 Liner Regression-线性回归 - 知乎 5.3.2 决策树模型 Python实现决策树 - 知乎 5.3.3 GBDT模型 机器学习大杀器——梯度提升树GBDT - 知乎 5.3.4 XGBoost模型 灵魂拷问，你看过
阿里巴巴2016数据挖掘工程师笔试-教程与笔记习题
05-18
阿里巴巴2016数据挖掘工程师笔试
大规模数据挖掘-第三章 学习笔记一.doc
05-05
大规模数据挖掘-第三章 学习笔记一.doc
数据挖掘学习笔记
12-21
数据挖掘学习笔记 现有一组facebook数据，x1-x10为已知属性，y为要预测的变量，首先导包，和数据。 import numpy as np import pandas as pd from statsmodels.formula.api import ols import statsmodels.api as ...
用商业案例学R语言数据挖掘-学习笔记.pdf
03-11
其中，第 1、 2 章为数据分析方法概述，第 3 章为 R 语言编程基础，第 4 章到第 8 章为统计学习方法，第 9 章到第 16 章为数据挖掘方法，第 17 章为特征工程，第 18 章为 R 文本挖掘。每章都根据所涉及的知识点的...
数据仓库与数据挖掘实验练习6-7（实验四2024.5.22）
qq_64684039的博客
05-22 525
数据仓库与数据挖掘实验练习6（实验四2024.5.22）
在学习uni-app过程中使用的css样式记录
qq_34080064的博客
05-20 912
​在学习uni-app过程中，记录下使用的css样式，持续更新。
FreeRTOS_互斥量_学习笔记
最新发布
uncle_tou的博客
05-23 882
数值只有0或1谁获得互斥量，就必须由谁释放同一个互斥量。但其实在freeRTOS中，任务A获取的互斥锁，任务B也能释放。因此谁上锁谁开锁只是约定，在程序实现上不是强制的。"是指：多个任务同时调用它、任务和中断同时调用它，函数的运行也是安全的。可重入的函数也被称为"线程安全”(thread safe)。每个任务都维持自己的栈、自己的CPU寄存器，如果一个函数，那么它就是的。
llama-factory学习个人记录
qq_55736201的博客
05-22 1107
1.llama-factory部署在LLaMA-Factory项目中，单显卡可以用命令或训练，多显卡只能用用命令的方式。
zynq-linux移植学习笔记
06-28
zynq-linux移植学习笔记应包含以下内容: 1. 对zynq架构和硬件资源的理解，包括PS和PL部分的特点。 2. 如何使用Xilinx SDK来编译和配置u-boot和Linux内核。 3. 如何在硬件平台上运行和调试Linux系统。 4. 怎样在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值