机器学习基础学习笔记（八）特征选择与特征提取

以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。

数据的特征表示

1.原始特征（Raw Feature）需要为向量形式。其存在以下不足：
1）特征比较单一，需要进行（非线性的）组合才能发挥其作用；
2）特征之间冗余度比较高；
3）并不是所有的特征都对预测有用；
4）很多特征通常是易变的；
5）特征中往往存在一些噪声
2.有效、稳定的特征对于提高机器学习算法的能力非常重要。
依赖专家知识的传统特征提取方式称为特征工程（Feature Engineering）。目前已经不能满足需求。
机器自动提取有效特征，称为特征学习（Feature Learning），也叫表示学习（Representation Learning）．
3.特征学习作用:一定程度上也可以减少模型复杂性、缩短训练时间、提高模型泛化能力、避免过拟合等．

传统特征学习方法

1.特征选择（Feature Selection）

特征选择（Feature Selection）是选取原始特征集合的一个有效子集，使得基于这个特征子集训练出来的模型准确率最高．简单地说，特征选择就是保留有用特征，移除冗余或无关的特征．
如何进行特征选择？
子集搜索:一种直接的特征选择方法为子集搜索（Subset Search）．假设原始特征数为𝐷，则共有2^𝐷 个候选子集．特征选择的目标是选择一个最优的候选子集．最暴力的做法是测试每个特征子集，看机器学习模型哪个子集上的准确率最高．但是这种方式效率太低．常用的方法是采用贪心的策略：由空集合开始，每一轮添加该轮最优的特征,，称为前向搜索（Forward Search）；或者从原始特征集合开始，每次删除最无用的特征，称为反向搜索（Backward Search）．
如何进行子集搜索？
（1）过滤式方法（Filter Method）：是不依赖具体机器学习模型的特征选择方法．每次增加最有信息量的特征，或删除最没有信息量的特征．特征的信息量可以通过信息增益（Information Gain）来衡量，即引入特征后条件分布𝑝𝜃(𝑦|𝒙) 的不确定性（熵）的减少程度．
（2）包裹式方法（Wrapper Method）：是使用后续机器学习模型的准确率作为评价来选择一个特征子集的方法．每次增加对后续机器学习模型最有用的特征，或删除对后续机器学习任务最无用的特征．这种方法是将机器学习模型包裹到特征选择过程的内部．
（3）ℓ1 正则化：由于ℓ1 正则化会导致稀疏特征，因此间接实现了特征选择．

2.特征提取（Feature Extraction）

特征提取（Feature Extraction）😗*构造一个新的特征空间，并将原始特征投影在新的空间中得到新的表示.分为监督与非监督方法．
1）监督的特征学习的目标是抽取对一个特定的预测任务最有用的特征，比如线性判别分析（Linear Discriminant Analysis，LDA）．
2）无监督的特征学习和具体任务无关，其目标通常是减少冗余信息和噪声，比如主成分分析（Principal Component Analysis，PCA）和自编码器（Auto-Encoder，AE）．**

3.优点

可以用较少的特征来表示原始特征中的大部分相关信息，去掉噪声信息，并进而提高计算效率和减小维度灾难（Curse of Dimensionality）．对于很多没有正则化的模型，特征选择和特征抽取非常必要．
经过特征选择或特征提取后，特征的数量一般会减少，因此特征选择和特征提取也经常称为维数约减或降维（Dimension Reduction）．

深度特征学习方法

如果我们将特征的表示学习和机器学习的预测学习有机地统一到一个模型中，建立一个端到端的学习算法，就可以有效地避免它们之间准则的不一致性．这种表示学习方法称为深度学习（Deep Learning，DL）