目录
降维
定义
降维是指在某些限定条件下,降低随机变量(特征)个数,得到⼀组“不相关”主变量的过程
降维的两种⽅式
- 特征选择
- 主成分分析(可以理解⼀种特征提取的⽅式)
特征选择
定义
数据中包含冗余或⽆关变量(或称特征、属性、指标等),旨在从原有特征中找出主要特征。
⽅法
- Filter(过滤式):主要探究特征本身特点、特征与特征和⽬标值之间关联
- ⽅差选择法:低⽅差特征过滤
- 相关系数
- Embedded (嵌⼊式):算法⾃动选择特征(特征与⽬标值之间的关联)
- 决策树:信息熵、信息增益
- 正则化:L1、L2
- 深度学习:卷积等
低⽅差特征过滤
删除低⽅差的⼀些特征,前⾯讲过⽅差的意义。再结合⽅差的⼤⼩来考虑这个⽅式的⻆度。
- 特征⽅差⼩:某个特征⼤多样本的值⽐较相近
- 特征⽅差⼤:某个特征很多样本的值都有差别
API
sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
- 删除所有低⽅差特征
- Variance.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值:训练集差异低于threshold的特征将被删除。默认值是保留所有⾮零⽅差特征,即删除所有样本中 具有相同值的特征。
数据计算
我们对某些股票的指标特征之间进⾏⼀个筛选
# 导入模块
import pandas as pd
from sklearn.feature_selection import VarianceThreshold
def var_thr():
"""
特征选择:低方差特征过滤
:return:
"""
data = pd.read_csv("./data/factor_returns.csv")
# 实例化一个对象
transfer = VarianceThreshold(threshold=10)
# 转换
transfer_data = transfer.fit_transform(data.iloc[:, 1:10])
print('原先的数据:\n', data.iloc[:, 1:10].shape)
print('删除低⽅差特征的结果:\n', transfer_data)
print("形状:\n", transfer_data.shape)
var_thr()
原先的数据: (2318, 9) 删除低⽅差特征的结果: [[ 5.95720000e+00 8.52525509e+10 8.00800000e-01 ... 1.21144486e+12 2.07014010e+10 1.08825400e+10] [ 7.02890000e+00 8.41133582e+10 1.64630000e+00 ... 3.00252062e+11 2.93083692e+10 2.37834769e+10] [-2.62746100e+02 5.17045520e+08 -5.67800000e-01 ... 7.70517753e+08 1.16798290e+07 1.20300800e+07] ... [ 3.95523000e+01 1.70243430e+10 3.34400000e+00 ... 2.42081699e+10 1.78908166e+10 1.74929478e+10] [ 5.25408000e+01 3.28790988e+10 2.74440000e+00 ... 3.88380258e+10 6.46539204e+09 6.00900728e+09] [ 1.42203000e+01 5.91108572e+10 2.03830000e+00 ... 2.02066110e+11 4.50987171e+10 4.13284212e+10]] 形状: (2318, 7)
相关系数
⽪尔逊相关系数(Pearson Correlation Coefficient)
-
1.作⽤
- 反映变量之间相关关系密切程度的统计指标
-
2.公式计算
-
3.特点
- 相关系数的值介于 –1 与 +1 之间,即–1≤ r ≤+1。其性质如下:
- 当r > 0时,表示两变量正相关,r < 0时,两变量为负相关
- 当|r| = 1时,表示两变量为完全相关,当r=0时,表示两变量间⽆相关关系
- 当0< |r| <1时,表示两变量存在⼀定程度的相关。且|r|越接近1,两变量间线性关系越密切;|r|越接近于0,表示两变 量的线性相关越弱
- ⼀般可按三级划分:|r|<0.4为低度相关;0.4≤|r|<0.7为显著性相关;0.7≤|r|<1为⾼度线性相关
- 相关系数的值介于 –1 与 +1 之间,即–1≤ r ≤+1。其性质如下:
-
4.api
- from scipy.stats import pearsonr
- x : (N,) array_like
- y : (N,) array_like
- Returns: (Pearson’s correlation coefficient, p-value)
- from scipy.stats import pearsonr
-
5.案例
from scipy.stats import pearsonr
def pea_demo():
"""
皮尔逊相关系数
:return:
"""
# 准备数据
x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]
# 判断
ret = pearsonr(x1, x2)
print("皮尔逊相关系数的结果是:\n", ret)
pea_demo()
皮尔逊相关系数的结果是: (0.9941983762371884, 4.922089955456964e-09)
斯⽪尔曼相关系数(Rank IC)
-
1.作⽤:
- 反映变量之间相关关系密切程度的统计指标
-
2.公式计算案例
- 公式:
- n为等级个数,d为⼆列成对变量的等级差数
- 举例:
- 公式:
-
3.特点
- 斯⽪尔曼相关系数表明 X (⾃变量) 和 Y (因变量)的相关⽅向。 如果当X增加时, Y 趋向于增加, 斯⽪尔曼相关系数 则为正
- 与之前的⽪尔逊相关系数⼤⼩性质⼀样,取值 [-1, 1]之间
-
4.api
- from scipy.stats import spearmanr
-
5.案例:
from scipy.stats import spearmanr
def spea_demo():
"""
斯皮尔曼相关系数
:return:
"""
# 准备数据
x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]
# 判断
ret = spearmanr(x1, x2)
print("斯皮尔曼相关系数的结果是:\n", ret)
spea_demo()
斯皮尔曼相关系数的结果是: SpearmanrResult(correlation=0.9999999999999999, pvalue=6.646897422032013e-64)
主成分分析
什么是主成分分析(PCA)
- 定义:⾼维数据转化为低维数据的过程,在此过程中可能会舍弃原有数据、创造新的变量
- 作⽤:是数据维数压缩,尽可能降低原数据的维数(复杂度),损失少量信息。
API
sklearn.decomposition.PCA(n_components=None)
- 将数据分解为较低维数空间
- n_components:
- ⼩数:表示保留百分之多少的信息
- 整数:减少到多少特征
- PCA.fit_transform(X)
- X : numpy array格式的数据[n_samples,n_features]
- 返回值 :转换后指定维度的array
from sklearn.decomposition import PCA
def pca_demo():
"""
pca降维
:return:
"""
data = [[2, 8, 4, 5], [6, 3, 0, 8], [5, 4, 9, 1]]
# pca小数保留百分比
transfer = PCA(n_components=0.9)
# 调⽤fit_transform
trans_data = transfer.fit_transform(data)
print("保留0.9的数据最后维度为:\n", trans_data)
# 实例化PCA, 整数——指定降维到的维数
transfer = PCA(n_components=3)
trans_data = transfer.fit_transform(data)
print("保留三列数据:\n", trans_data)
pca_demo()
保留0.9的数据最后维度为: [[-3.13587302e-16 3.82970843e+00] [-5.74456265e+00 -1.91485422e+00] [ 5.74456265e+00 -1.91485422e+00]] 保留三列数据: [[-3.13587302e-16 3.82970843e+00 4.59544715e-16] [-5.74456265e+00 -1.91485422e+00 4.59544715e-16] [ 5.74456265e+00 -1.91485422e+00 4.59544715e-16]]