机器学习（5）特征降维

1 降维：

指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程。
相关特征（correlated feature）

• 相对湿度与降雨量之间的相关

2 什么是特征选择

数据中包含冗余或相关变量（特征、属性、指标），旨在从原有特征中找出主要特征。
2.1 方法
Filter（过滤式）：主要研究特征本身特点，特征与特征和目标值之间关联

• 方差选择法：低方差特征过滤
• 相关系数法：

Embedded（嵌入式）：算法自动选择特征（特征与目标值之间的关联）

• 决策树：信息熵、信息增益
• 正则化：L1、L2
• 深度学习：卷积等

2.2 低方差特征过滤
删除低方差的一些特征，前面讲过方差的意义。再结合方差的大小来考虑这个方式的角度。

• 特征方差小：某个特征大多样本的值比较相近
• 特征方差大：某个特征很多样本的值都有差别

2.3 API

sklearn.feature_selection.VarianceThreshold(threshold = 0.0)

Variance.fit_transform(X)# 删除所有低方差特征
# X:numpy array格式的数据[n_samples,n_features]
# 返回：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

2.3 数据计算

def variance_demo():
    """
    删除低方差特征——特征选择
    :return: None
    """
    data = pd.read_csv("factor_returns.csv")
    print(data)
    # 1、实例化一个转换器类
    transfer = VarianceThreshold(threshold=1)
    # 2、调用fit_transform
    data = transfer.fit_transform(data.iloc[:, 1:10])
    print("删除低方差特征的结果：\n", data)
    print("形状：\n", data.shape)
 
    return None

返回结果：

            index  pe_ratio  pb_ratio    market_cap  \
0     000001.XSHE    5.9572    1.1818  8.525255e+10
1     000002.XSHE    7.0289    1.5880  8.411336e+10
...           ...       ...       ...           ...
2316  601958.XSHG   52.5408    2.4646  3.287910e+10
2317  601989.XSHG   14.2203    1.4103  5.911086e+10
 
      return_on_asset_net_profit  du_return_on_equity            ev  \
0                         0.8008              14.9403  1.211445e+12
1                         1.6463               7.8656  3.002521e+11
...                          ...                  ...           ...
2316                      2.7444               2.9202  3.883803e+10
2317                      2.0383               8.6179  2.020661e+11
 
      earnings_per_share       revenue  total_expense        date    return
0                 2.0100  2.070140e+10   1.088254e+10  2012-01-31  0.027657
1                 0.3260  2.930837e+10   2.378348e+10  2012-01-31  0.082352
2                -0.0060  1.167983e+07   1.203008e+07  2012-01-31  0.099789
...                  ...           ...            ...         ...       ...
2315              0.2200  1.789082e+10   1.749295e+10  2012-11-30  0.137134
2316              0.1210  6.465392e+09   6.009007e+09  2012-11-30  0.149167
2317              0.2470  4.509872e+10   4.132842e+10  2012-11-30  0.183629
 
[2318 rows x 12 columns]
删除低方差特征的结果：
 [[  5.95720000e+00   1.18180000e+00   8.52525509e+10 ...,   1.21144486e+12
    2.07014010e+10   1.08825400e+10]
 [  7.02890000e+00   1.58800000e+00   8.41133582e+10 ...,   3.00252062e+11
    2.93083692e+10   2.37834769e+10]
 [ -2.62746100e+02   7.00030000e+00   5.17045520e+08 ...,   7.70517753e+08
    1.16798290e+07   1.20300800e+07]
 ...,
 [  3.95523000e+01   4.00520000e+00   1.70243430e+10 ...,   2.42081699e+10
    1.78908166e+10   1.74929478e+10]
 [  5.25408000e+01   2.46460000e+00   3.28790988e+10 ...,   3.88380258e+10
    6.46539204e+09   6.00900728e+09]
 [  1.42203000e+01   1.41030000e+00   5.91108572e+10 ...,   2.02066110e+11
    4.50987171e+10   4.13284212e+10]]
形状：
 (2318, 8)

2.4 相关系数
皮尔逊相关系数(Pearson Correlation Coefficient)

• 反映变量之间相关关系密切程度的统计指标
• 公式

例：计算年广告费投入与月均销售额

相关系数怎么计算？


= 0.9942

我们最终得出结论是广告投入费与月平均销售额之间有高度的正相关关系。

2.4.1 特点
相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：

• 当r>0时，表示两变量正相关，r<0时，两变量为负相关
• 当|r|=1时，表示两变量为完全相关，当r=0时，表示两变量间无相关关系
• 当0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
• 一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关

2.4.2 API
from scipy.stats import pearsonr

• x : (N,) array_like
• y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)

2.4.3 案例： 股票的财务指标相关性计算
我们刚才的股票的这些指标进行相关性计算， 假设我们以这些特征当中的两两进行计算，得出相关性高的一些特征

#计算两个变量之间的相关系数
r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])
print("相关系数：\n", r1)
r2 = pearsonr(data['revenue'], data['total_expense']) 
print("revenue与total_expense之间的相关性：\n", r2)

factor = ['pe_ratio','pb_ratio','market_cap','return_on_asset_net_profit','du_return_on_equity','ev','earnings_per_share','revenue','total_expense']

特征与特征之间相关性很高：

1. 选取其中一个
2. 加权求和
3. 主成分分析

3 主成分分析

3.1 什么是主成分分析(PCA)

• 定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量

• 作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。

• 应用：回归分析或者聚类分析当中
  3.2 API

  sklearn.decomposition.PCA(n_components=None)

将数据分解为较低维数空间
n_components:

• 小数：保留百分之多少的信息
• 整数：减少到具体的多少个特征

PCA.fit_transform(X)

• X：numpy array 格式的数据
• return：转换为指定维度后的 array

3.3 数据计算

from sklearn.decomposition import PCA

def pca_demo():

	data = [[2,8,4,5], [6,3,0,8], [5,4,9,1]]

	# 1、实例化PCA, 小数—保留百分之多少信息
	transfer = PCA(n_components=0.9)
	# 2、调用fit_transform
	data1 = transfer.fit_transform(data)
	print("保留90%的信息，降维结果为：\n", data1)

	# 1、实例化PCA, 整数——指定降维到的维数
	transfer2 = PCA(n_components=3)
	# 2、调用fit_transform
	data2 = transfer2.fit_transform(data)
	print("降维到3维的结果：\n", data2)

4 案例 探究用户对物品类别的喜好细分降维

现有数据
order_products__prior.csv：订单与商品信息

• 字段：order_id, product_id, add_to_cart_order, reordered

products.csv：商品信息

• 字段：product_id, product_name, aisle_id, department_id

orders.csv：用户的订单信息

• 字段：order_id,user_id,eval_set,order_number,….

aisles.csv：商品所属具体物品类别

• 字段： aisle_id, aisle

分析

• 合并表，使得user_id与aisle在一张表当中
• 进行交叉表变换
• 进行PCA降维（特征冗余）

代码

import pandas as pd
from sklearn.decomposition import PCA

# 1、获取数据集 
products = pd.read_csv("./data/instacart/products.csv")  # 商品信息
order_products = pd.read_csv("./data/instacart/order_products__prior.csv")  # 订单与商品信息
orders = pd.read_csv("./data/instacart/orders.csv")  # 用户的订单信息
aisles = pd.read_csv("./data/instacart/aisles.csv")  # 商品所属具体物品类别

# 2、合并表，将user_id和aisle放在一张表上
# 1）合并 orders 和 order_products 
tab1 = pd.merge(aisles, products, on="aisle_id")
# 2）合并 tab1 和 products
tab2 = pd.merge(tab1, order_products, on="product_id")
# 3）合并 tab2 和 aisles 
tab3 = pd.merge(tab2, orders, on="order_id")

# 3、交叉表处理，把 user_id 和 aisle 进行分组 
table = pd.crosstab(tab3["user_id"], tab3["aisle"])

# 4、主成分分析的方法进行降维
# 1）实例化一个转换器类PCA
transfer = PCA(n_components=0.95)
# 2）fit_transform
data = transfer.fit_transform(table)

# 查看降维结果
data.shape