【机器学习】特征选择与稀疏学习

信息熵就二进制的字符集在去掉冗余度后的二进制编码位数.冗余度是通过统计每个字符出现概率获得的。
信息熵：https://blog.csdn.net/xyisv/article/details/80273679?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.highlightwordscore&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.highlightwordscore

http://www.360doc.com/content/21/0930/22/7673502_997799360.shtml
特征：feature
相关特征：relevant feature
无关特征：irrelevant feature
特征选择：feature selection
冗余特征：redundant feature

去除冗余特征和无关特征

1. 分析特征、训练模型所需的时间就越长，模型也会越复杂。
   

2. 容易引起“维度灾难”，其推广能力会下降。
   

3. 容易导致特征稀疏的问题，导致模型效果下降。
   

4. 对于模型来说，可能会导致不适定的情况，即是解出的参数会因为样本的微小变化而出现大的波动
   

基于冗余分析的特征选择算法
http://html.rhhz.net/buptjournal/html/20170106.htm

三类特征选择方法

1.过滤式特征选择方法

Relief方法
选择前 k 个大的相关统计量对应的特征，或者大于某个阈值的相关统计量对应的特征即可。
（1）相关统计量
给定训练集{(x1,y1),(x2,y2)…(xm,ym)} ，对每个示例xi，Relief在xi的同类样本中寻找其最近邻xi,nh（猜中近邻），再从xi的异类样本中寻找其最近邻xi,nm(猜错近邻)

（2）统计量
统计量：一个向量，向量的每个分量是对其中一个初始特征的评价值
特征子集的重要性：子集中每个特征所对应的相关统计量之和。
（3）假设间隔
Relief 借用了“假设间隔”（hypothesis marginhypothesis margin）的思想，
在分类问题中，常常会采用决策面的思想来进行分类，“假设间隔”就是指在保持样本分类不变的情况下，决策面能够移动的最大距离

2.包裹式选择

3.嵌入式