多元回归和Logistic回归

什么是线性回归

• 有监督学习 => 学习样本为 D = { ( x i , y i ) } i = 1 N D=\{(x_i,y_i)\}^N_{i=1} D={ (xi​,yi​)}i=1N​
• 输出/预测的结果$y_i$为连续变量
• 需要学习映射$f:x\to y$
• 假定输入x与输出y之间有线性相关关系

一元线性回归

$y=ax+b$

多元线性回归

损失函数（loss function）

我们要找到最好的权重/参数$[{\theta }_0,{\theta }_1,...,{\theta }_n]=\theta$

我们把x到y的映射函数f记作$\theta$的函数$h_{\theta }(x)$

定义损失函数为:

梯度下降

逐步最小化损失函数的过程
如同下山，找准方向(梯度)，每次迈进一小步，直至山底（注：这里的$\frac{1}{2m}$只是一个系数，加上去是只是为了计算方便，下面的笔记中可能有些地方会省去，请勿在意）

在坐标系中的表示方法如下

假如现在有n个特征/变量$x_j(j=1...n)$

Tip1：调整学习速率

小心翼翼地调整学习率

举例：

上图左边黑色为损失函数的曲线，假设从左边最高点开始，如果学习率调整的刚刚好，比如红色的线，就能顺利找到最低点。如果学习率调整的太小，比如蓝色的线，就会走的太慢，虽然这种情况给足够多的时间也可以找到最低点，实际情况可能会等不及出结果。如果 学习率调整的有点大，比如绿色的线，就会在上面震荡，走不下去，永远无法到达最低点。还有可能非常大，比如黄色的线，直接就飞出去了，更新参数的时候只会发现损失函数越更新越大。

虽然这样的可视化可以很直观观察，但可视化也只是能在参数是一维或者二维的时候进行，更高维的情况已经无法可视化了。

解决方法就是上图右边的方案，将参数改变对损失函数的影响进行可视化。比如学习率太小（蓝色的线），损失函数下降的非常慢；学习率太大（绿色的线），损失函数下降很快，但马上就卡住不下降了；学习率特别大（黄色的线），损失函数就飞出去了；红色的就是差不多刚好，可以得到一个好的结果。

自适应学习率

举一个简单的思想：随着次数的增加，通过一些因子来减少学习率

• 通常刚开始，初始点会距离最低点比较远，所以使用大一点的学习率

• update好几次参数之后呢，比较靠近最低点了，此时减少学习率

• 比如 ${\eta }^t=\frac{{\eta }^t}{\sqrt{t+1}}$，$t$ 是次数。随着次数的增加，${\eta }^t$ 减小

学习率不能是一个值通用所有特征，不同的参数需要不同的学习率

Adagrad 算法

每个参数的学习率都把它除上之前微分的均方根。解释：

普通的梯度下降为：

w t + 1 ← w t − η t g t w^{t+1} \leftarrow w^t -η^tg^t w