七月机器学习之回归分析与工程应用5

线性回归用于解决连续值预测的问题，逻辑回归用于解决分类的问题，但是实际上通常用来分类，因为它输出的是一个概率

这三个概念面试一定会问！！！！
拿到损失函数->对损失函数进行梯度下降->求出最优解，正则化是为了防止过拟合，降低波动

线性回归是假定输入和输出间是有线性相关的

不同的算法的损失函数的定义不同

这种情况说的是入参只有一个的时候，当斜率为负数的时候，值会变大，就会继续往前，当为正数的时候就会减小，往回退

如果入参有多个，对多个入参求偏导（即对每一个入参求倒数）
最快的到达最低点就是与等高线垂直

学习率很小，会导致收敛率很慢。
学习率很大，会导致震荡，有可能找不到最小值，所以学习率一般取较小值

欠拟合是我们的参数太少，拟合的不准
过拟合是我们的参数太多，波动太大，在样本点里拟合的非常完美，但是丧失了一般性，导致在新的测试点上效果不好

正则化就是在在损失函数后面加一个参数的平方项，防止波动太大，图中是L2正则化，L1是把平方改成绝对值

回归一般是对连续值的预测，但是逻辑回归特殊，它是用于分类问题，是一个离散的结果

如果采用线性回归加阈值来实现分类，当达到一定的阈值，就分一个类，但是这样导致了它的鲁棒性不强，它对噪声不敏感

逻辑回归的本质是在找判断边界

边界是线性还是非线性，取决于g()中线性回归的部分，g就是sigmod函数

该函数是凸函数，所以可以使用梯度下降求偏导

逻辑回归如果用于多分类，可以用于分为多个二分类，即某一类作为一类，剩余的作为一类，然后再继续分剩下的

scaling类似与固益化，将数据压缩到某一个空间（好像是-1，1），防止数值太大或太小影响最终结果

采样是针对样本进行采样
降维是针对特征进行降维