数据降维

数据降维

特征选择

噪声：对预测结果有影响
过滤式：方差 variancethreshold

def var():
    """
    特征选择-删除低方差的特征
    :return: None
    """
    var = VarianceThreshold(threshold=1.0)

    data = var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])

    print(data)
    return None

嵌入式
神经网络

主成分分析

PCA 数据维数压缩，特征数量达到上百时

高维数据：特征容易相关。
降维会产生数据损失，PCA降维的同时减少信息损失。
n_components:小数0—1
保留多少信息90%-95%
整数：减少到的特征数量

实例：
1.各张表合并 pd.merge()
import pandas as pd
2.分组工具：交叉表 crosstab
3.PCA

监督学习：有目标值
分类 离散型 回归连续型
无监督学习：只有特征值

数据集划分

训练集 测试集

获取数据集

sklearn.model_selection.train_test_split
datasets.load_（）
datasets.fetch_

datasets.base.Bunch(字典格式)

数据集分割

train_test_spit=(li.data,li.target,test_size=0.25)
注意输出顺序：
训练集特征值和目标值
测试集特征值和目标值

from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston
li = load_iris()

#print("获取特征值")
#print(li.data)
#print("目标值")
#print(li.target)
print(li.DESCR)

# 注意返回值, 训练集 train  x_train, y_train        测试集  test   x_test, y_test
# x_train, x_test, y_train, y_test = train_test_split(li.data, li.target, test_size=0.25)

转换器与估计器

fit()标准不同，转换得到的数据就不同

estimator估计器

fit(x_train,y_train)
y_predict=predict(x_test)
预测准确率 score(x_test,y_test)