机器学习

参考：https://www.jianshu.com/p/35135ab0a627

https://www.jianshu.com/p/cc6ff3abfed5

解决机器学习问题的流程：

1、数据提取  2、数据清洗  3、特征工程  4、模型构建  5、集成学习（模型融合）  6、预测

特征工程包括三个子模块：特征构建->特征提取->特征选择

特征构建：根据原始数据构建新的特征，需要找出一些具有物理意义的特征。

特征提取：自动地构建新的特征，将原始特征转换为一组具有明显物理意义或者统计意义或核的特征。例如 Gabor、几何特征、纹理等。

常用的方法有：

• PCA (Principal component analysis，主成分分析)
• ICA (Independent component analysis，独立成分分析)
• LDA （Linear Discriminant Analysis，线性判别分析）

特征选择：从特征集合中挑选一组最具统计意义的特征子集，把无关的特征删掉，从而达到降维的效果。

常用的方法：

• filter（刷选器）方法：Pearson相关系数，Gini-index（基尼指数），IG（信息增益）等

• wrapper（封装器）：有逐步回归（Stepwise regression）、向前选择（Forward selection）和向后选择（Backward selection）等

• Embeded(集成方法)：Regularization，或者使用决策树思想，Random Forest和Gradient boosting等