机器学习（10）

机器学习10---------特征选择与稀疏学习

特征选择与稀疏学习

自己搜索与评价 特征 即i属性 相关特征 对当前学习有用的 无关特征 对当前学习无用的 冗余特征 可能有用（尤其在该数据为中间数据时），可能没用 特征选择 从给定数据集中挑选有用特征的的过程 是重要的数据预处理过程 与降维一起是处理高维数据的主要方法，与降维的作用类似，可以减少维数灾难问题 降低学习任务难度 选择环节 子集搜索 前向搜索 先来一个特征，一个一个加，加完之后不能比原来好就删去 后向搜索 子集全选，一个一个去掉 双向搜索 结合上面两个方式 子集评价 可以根据信息增益来评价，增益越大，越好 过滤式选择 Relief方法不考虑后续学习器的训练 设计了一种相关统计量来度量属性的重要性 猜中近邻：是同类样本中的最近邻 猜错近邻：是异类样本中的最近邻 若猜中近邻距离小于猜错近邻则此属性拥有较好的分类能力，反之则没有 包裹式选择 考虑后续学习器的训练，直接针对学习器进行优化，效果比过滤式好，但开销大 LVW是一个经典办法，在拉斯维加斯方法的框架下采用随机策略来搜索，以分类器的误差作为评价准则 嵌入式选择与L1正则化 特征选取和学习融合为一体 稀疏表示与字典学习 把数据集考虑称一个矩阵，每行是一个样本，每列是一个属性，应该将不需要的列删去 学习字典（稀疏编码）侧重不同，但都是在一个优化求解的过程中完成的 压缩感知 信号有稀疏表示的时候，既可以在不满足奈奎斯特采样定理的情况下，将一个简化的信号恢复成原来的信号

参考文献

周志华. 机器学习