Python 机器学习3：sklearn 数据降维

数据的维度即特征的数量，数据降维即降低数据特征的数量。

1. 特征选择

对于包括多余数据或者负面影响分析结果的数据，选择一部分更重要的数据作为后续使用。

import sklearn.feature_selection

VarianceThreshold 方差阈值，即删除所有低方差特征。

from sklearn.feature_selection import VarianceThreshold

1. 实例化VarianceThreshold 参数threshold：返回值中，输入数据中方差低于threshold的特征将被删除，默认值是保留所有非0方差特征。

2. 通过fit_transform转换

输入：

[[0, 3, 2, 3], [0, 2, 1, 3], [0, 4, 7, 3]]

from sklearn.feature_selection import VarianceThreshold

var = VarianceThreshold(threshold=1.0)
data = var.fit_transform([[0, 3, 2, 3], [0, 2, 1, 3], [0, 4, 7, 3]])
print(data)

 输出：

[[2]
 [1]
 [7]]

其他特征选择算法还包括正则化、决策树、神经网络等等。

 2. 主成分分析

主成分分析（PCA）技术可以分析和简化数据集，尽可能降低原数据的维数。当特征数量较大的时候，特征之间通常是相关的，因此主成分分析适合用于特征数量较大的数据。

from sklearn.decomposition import PCA

1. 实例化PCA(n_components=xx)

参数n_components：填小数时为信息保存比例，通常为0.9~0.95；填整数时为输出数据中的特征数量

2. 通过fit_transform转换

输入：

[[3, 9, 4, 5], [6, 4, 0, 8], [5, 5, 9, 8]]

from sklearn.decomposition import PCA

pca = PCA(n_components=0.9)
data = pca.fit_transform([[3, 9, 4, 5], [6, 4, 0, 8], [5, 5, 9, 8]])
print(data)

 输出：

[[-0.42610758  3.9632463 ]
 [ 4.75974469 -1.70305199]
 [-4.3336371  -2.26019431]]

这个二维的数据保留了原有数据90%的特征。

案例：探究用户对物品类别的喜好细分降维案例

需求：将用户数据特征（商品信息、订单与商品信息、用户的订单信息、商品所属具体物品类别）使用PCA降维。

链接：https://pan.baidu.com/s/1THkh7j3-PH7HoZbwxVnmTg
提取码：51d7

products.csv 商品信息

order_products__prior.csv 订单与商品信息

orders.csv 用户的订单信息

aisles.csv 商品所属具体物品类别

import pandas as pd
from sklearn.decomposition import PCA

order_product = pd.read_csv('order_products__prior.csv')
products = pd.read_csv('products.csv')
orders = pd.read_csv("orders.csv")
aisles = pd.read_csv("aisles.csv")
table1 = pd.merge(order_product, products, on=["product_id", "product_id"])
table2 = pd.merge(table1, orders, on=["order_id", "order_id"])
table = pd.merge(table2, aisles, on=["aisle_id", "aisle_id"])
table = pd.crosstab(table["user_id"], table["aisle"])
transfer = PCA(n_components=0.9)
data = transfer.fit_transform(table)
print(data)

输出：

[[-2.27452872e+01 -7.32942365e-01 -2.48945893e+00 ... -4.78491473e+00
  -3.10742945e+00 -2.45192316e+00]
 [ 5.28638801e+00 -3.00176267e+01 -1.11226906e+00 ...  9.24145693e+00
  -3.11309382e+00  2.20144174e+00]
 [-6.52593099e+00 -3.87333123e+00 -9.23859508e+00 ... -1.33929081e+00
   1.25062993e+00  6.12717485e-01]
 ...
 [ 1.31226615e+01 -2.77296885e+01 -4.62403246e+00 ...  7.40793534e+00
   1.03829352e+00 -1.39058393e+01]
 [ 1.64905900e+02 -8.54916188e+01  1.90577481e-02 ... -5.62014943e+00
  -1.38488891e+01 -7.11424774e+00]
 [-1.60244724e+00  1.82037661e+00  8.55756408e+00 ...  3.69860152e+00
   2.82248188e+00 -3.79491023e+00]]

数据从134维降低到了27维，保留了90%的特征信息。