聚类算法_特征工程-特征降维_域名降维可视化-CSDN博客

本文链接：https://blog.csdn.net/m0_68462260/article/details/132849403

降维

定义

降维是指在某些限定条件下，降低随机变量(特征)个数，得到⼀组“不相关”主变量的过程

降维的两种⽅式

特征选择
主成分分析（可以理解⼀种特征提取的⽅式）

特征选择

定义

数据中包含冗余或⽆关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。

⽅法

Filter(过滤式)：主要探究特征本身特点、特征与特征和⽬标值之间关联
- ⽅差选择法：低⽅差特征过滤
- 相关系数
Embedded (嵌⼊式)：算法⾃动选择特征（特征与⽬标值之间的关联）
- 决策树:信息熵、信息增益
- 正则化：L1、L2
- 深度学习：卷积等

低⽅差特征过滤

删除低⽅差的⼀些特征，前⾯讲过⽅差的意义。再结合⽅差的⼤⼩来考虑这个⽅式的⻆度。

特征⽅差⼩：某个特征⼤多样本的值⽐较相近
特征⽅差⼤：某个特征很多样本的值都有差别

API

sklearn.feature_selection.VarianceThreshold(threshold = 0.0)

删除所有低⽅差特征
Variance.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有⾮零⽅差特征，即删除所有样本中具有相同值的特征。

数据计算

我们对某些股票的指标特征之间进⾏⼀个筛选

# 导入模块
import pandas as pd
from sklearn.feature_selection import VarianceThreshold

def var_thr():
    """
    特征选择:低方差特征过滤
    :return:
    """
    data = pd.read_csv("./data/factor_returns.csv")
    
    # 实例化一个对象
    transfer = VarianceThreshold(threshold=10)
    # 转换
    transfer_data = transfer.fit_transform(data.iloc[:, 1:10])
    
    print('原先的数据：\n', data.iloc[:, 1:10].shape)
    print('删除低⽅差特征的结果：\n', transfer_data)
    print("形状：\n", transfer_data.shape)
    
var_thr()

原先的数据：
 (2318, 9)
删除低⽅差特征的结果：
 [[ 5.95720000e+00  8.52525509e+10  8.00800000e-01 ...  1.21144486e+12
   2.07014010e+10  1.08825400e+10]
 [ 7.02890000e+00  8.41133582e+10  1.64630000e+00 ...  3.00252062e+11
   2.93083692e+10  2.37834769e+10]
 [-2.62746100e+02  5.17045520e+08 -5.67800000e-01 ...  7.70517753e+08
   1.16798290e+07  1.20300800e+07]
 ...
 [ 3.95523000e+01  1.70243430e+10  3.34400000e+00 ...  2.42081699e+10
   1.78908166e+10  1.74929478e+10]
 [ 5.25408000e+01  3.28790988e+10  2.74440000e+00 ...  3.88380258e+10
   6.46539204e+09  6.00900728e+09]
 [ 1.42203000e+01  5.91108572e+10  2.03830000e+00 ...  2.02066110e+11
   4.50987171e+10  4.13284212e+10]]
形状：
 (2318, 7)

相关系数

⽪尔逊相关系数(Pearson Correlation Coefficient)

1.作⽤
- 反映变量之间相关关系密切程度的统计指标
2.公式计算
3.特点
- 相关系数的值介于 –1 与 +1 之间，即–1≤ r ≤+1。其性质如下：
  - 当r > 0时，表示两变量正相关，r < 0时，两变量为负相关
  - 当|r| = 1时，表示两变量为完全相关，当r=0时，表示两变量间⽆相关关系
  - 当0< |r| <1时，表示两变量存在⼀定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
  - ⼀般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为⾼度线性相关
4.api
- from scipy.stats import pearsonr
  - x : (N,) array_like
  - y : (N,) array_like
  - Returns: (Pearson’s correlation coefficient, p-value)
5.案例

from scipy.stats import pearsonr 

def pea_demo():
    """
    皮尔逊相关系数
    :return:
    """
    # 准备数据
    x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
    x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]

    # 判断
    ret = pearsonr(x1, x2)
    print("皮尔逊相关系数的结果是:\n", ret)
    
pea_demo()

皮尔逊相关系数的结果是:
 (0.9941983762371884, 4.922089955456964e-09)

斯⽪尔曼相关系数(Rank IC)

1.作⽤：
- 反映变量之间相关关系密切程度的统计指标
2.公式计算案例
- 公式：
- n为等级个数，d为⼆列成对变量的等级差数
- 举例:
3.特点
- 斯⽪尔曼相关系数表明 X (⾃变量) 和 Y (因变量)的相关⽅向。如果当X增加时， Y 趋向于增加, 斯⽪尔曼相关系数则为正
- 与之前的⽪尔逊相关系数⼤⼩性质⼀样，取值 [-1, 1]之间
4.api
- from scipy.stats import spearmanr
5.案例：

from scipy.stats import spearmanr 

def spea_demo():
    """
    斯皮尔曼相关系数
    :return:
    """
    # 准备数据
    x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
    x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]

    # 判断
    ret = spearmanr(x1, x2)
    print("斯皮尔曼相关系数的结果是:\n", ret)

spea_demo()

斯皮尔曼相关系数的结果是:
 SpearmanrResult(correlation=0.9999999999999999, pvalue=6.646897422032013e-64)

主成分分析

什么是主成分分析(PCA)

定义：⾼维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量
作⽤：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。

API

sklearn.decomposition.PCA(n_components=None)

将数据分解为较低维数空间
n_components:
- ⼩数：表示保留百分之多少的信息
- 整数：减少到多少特征
PCA.fit_transform(X)
- X : numpy array格式的数据[n_samples,n_features]
- 返回值：转换后指定维度的array

from sklearn.decomposition import PCA

def pca_demo():
    """
    pca降维
    :return:
    """
    data = [[2, 8, 4, 5], [6, 3, 0, 8], [5, 4, 9, 1]]

    # pca小数保留百分比
    transfer = PCA(n_components=0.9)
    
    # 调⽤fit_transform
    trans_data = transfer.fit_transform(data)
    
    print("保留0.9的数据最后维度为:\n", trans_data)

    
    # 实例化PCA, 整数——指定降维到的维数
    transfer = PCA(n_components=3)
    trans_data = transfer.fit_transform(data)
    print("保留三列数据:\n", trans_data)
    
pca_demo()

保留0.9的数据最后维度为:
 [[-3.13587302e-16  3.82970843e+00]
 [-5.74456265e+00 -1.91485422e+00]
 [ 5.74456265e+00 -1.91485422e+00]]
保留三列数据:
 [[-3.13587302e-16  3.82970843e+00  4.59544715e-16]
 [-5.74456265e+00 -1.91485422e+00  4.59544715e-16]
 [ 5.74456265e+00 -1.91485422e+00  4.59544715e-16]]