数据处理----特征(一)

为什么处理特征？什么叫特征提取？提取什么？什么叫特征选择？

特征工程包括特征提取和特征选择，目标是降维，以及和特征转换。

为什么要特征提取？

将高维映射到低维空间中去，在低维空间中去寻找联系，就知道了高维空间的内在联系了。

1维、2维和3维的样本点。

什么是特征提取？

通过属性间的关系，如组合不同的属性得到新的属性，改变了原来的特征空间。（计算机视觉，edge， corner, orientation）, 尺度不变特征变换（Scale-invariant feature transform，SIFT），方法包括：PCA, LDA，SVD。

人工标注很难实现，特征太多，维数复杂；
在高维下，欧几里得距离不能测量距离，数据特征会很稀疏。

维数约减（主成分分析、流形学习）：

1. 缩减内存和时间
2. 消除不相关特征和约减噪声
3. 更好的可视化
4. 维数爆炸

特征选择

从原始特征数据集中选择出子集，是一种包含的关系，没有更改原始的特征空间，对训练数据具有分类能力的特征。

1 特征选择目的

  提高预测的准确性
  构造更快，消耗更低的预测模型
  能够对模型有更好的理解和解释

2 特征选择

1. Filter方法：对每一维的特征“打分”，即给每一维的特征赋予权重，这样的权重就代表着该维特征的重要性，然后依据权重排序，如：卡方检验、相关系数。
2. Wrapper方法：将子集的选择看作是一个搜索寻优问题，生成不同的组合，对组合进行评价，再与其他的组合进行比较。
3. Embedded方法：在模型既定的情况下学习出对提高模型准确性最好的属性，如：正则化。

主成分分析：很多样本点，有两个特征，高度和宽度，$e_1$,$e_2$是新的基，维数约减。

相似度测量：推荐系统、集群聚类，K-mean,异常探测

相似度测量

特征转换

线性分类模型的核心是算分数，有边界明确、复杂度可控等cons，但是对于更为复杂的情形，直线和超平面的分割就显得比较局限，此时引出非线性分类的思路。

特征指标

特征提取：指标包括最大值、最小值、均值、方差、均方值、均方根值、偏度、峰峰值（最大-最小）

四类变两类

数据分析

numpy

pandas

了解一下处理特征，一直觉得很神秘。