机器学习总结-3-回归算法

1.线性回归算法

2.多项式回归算法

3.过拟合与正则化

4.Logistic回归算法

5.Softmax回归算法

6.梯度下降

7.特征抽取

一.特征提取和特征选择的区别
特征选择和降维（特征提取）有着些许的相似点，这两者达到的效果是一样的，就是试图去减少特征数据集中的属性(或者称为特征)的数目；但是两者所采用的方式方法却不同：降维的方法主要是通过属性间的关系，如组合不同的属性得到新的属性，这样就改变了原来的特征空间；而特征选择的方法是从原始特征数据集中选择出子集，是一种包含的关系，没有更改原始的特征空间。
二.常用的特征选择方法有哪些？
特征选择是从样本集中选取重要的特征子集
比较有名的特征选择有过滤法（Filter），包裹法(Wrapper)，嵌入法(Embedded)
三、常用的特征提取方法有哪些？
常用的方法有主成分分析（PCA），独立成分分析（ICA），线性判别分析（LDA）一般数据是有类别的，最好先考虑用LDA降维。也可先用小幅度的PCA降维消除噪声再用LDA降维，若训练数据没有类别优先考虑PCA。
特征提取是由原始输入形成较少的新特征，它会破坏数据的分布，为了使得训练出的模型更加健壮，若不是数据量很大特征种类很多，一般不要用特征提取。
机器学习之特征选择和特征抽取

8.线性回归案例

9.应用场景

回归算法应用场景实例二十则