机器学习入门：特征工程与数据降维

机器学习入门：特征工程与数据降维

---

1 为什么要进行数据预处理

1.1 数据清洗

1.1.1 数据清洗常见问题

a. 缺失值处理

b. 噪声数据处理

c. 异常值处理

d. 脏数据处理

e. 去重处理

f. ETL - extract、transform、load

g. 离群点与噪声

$~~~~~~~~$噪声： 被测量的变量的随机误差或者方差（一般指错误的数据）
$~~~~~~~~$离群点： 数据集中包含一些数据对象，他们与数据的一般行为或模型不一致。（正常值， 但偏离大多数数据）

h. 数据清洗常见问题简介

1.2 数据变换的一般方法

1.3 离群点检测

1.4 数据简化

1.4.1 数据简化定义

$~~~~~~~~$也称为数据“规约”，指在尽可能保持数据原貌的前提下，最大限度地精简数据量，它小得多， 但是保持原始数据的完整性。也就是说，在归约后的数据集上挖掘更有效果，仍然产生相同( 或几乎形同)的分析结果。注意：用于数据归约的时间不应当超过或“抵消”在归约后的数据挖掘上挖掘节省的时间。

1.4.2 数据简化常见方法

a. 维规约 - 即“降维”

$~~~~~~~~$也称“降维”，减少要考虑的变量及属性的个数。方法包括小波变换和主成分分析，他们把原始数据变换或投影到较小的空间。另外属性子集选择也是一种维归约方法，其中不相关、弱相关或冗余的属性或维被检测和删除。

b. 数量规约

$~~~~~~~~$用替代的、较小的数据表示形式替换原始数据。

c. 数据压缩

$~~~~~~~~$使用变换，以便得到原始数据的归约或“压缩”表示。如果原始数据可以从压缩后的数据重构，而不损失信息，则该数据归约称为无损的。反之，称之为有损的。维归约和数量归约也可以视为某种形式的数据压缩。

2 数据降维

2.1 选择合适的角度投影，你将看到更多的信息