多元回归和Logistic回归

什么是线性回归

  • 有监督学习 => 学习样本为 D = { ( x i , y i ) } i = 1 N D=\{(x_i,y_i)\}^N_{i=1} D={(xi,yi)}i=1N
  • 输出/预测的结果 y i y_i yi连续变量
  • 需要学习映射 f : x → y f:x→y f:xy
  • 假定输入x与输出y之间有线性相关关系

一元线性回归

y = a x + b y=ax+b y=ax+b

多元线性回归

损失函数(loss function)

我们要找到最好的权重/参数 [ θ 0 , θ 1 , . . . , θ n ] = θ [\theta_0,\theta_1,...,\theta_n]=\theta [θ0,θ1,...,θn]=θ

我们把x到y的映射函数f记作 θ \theta θ的函数 h θ ( x ) h_\theta(x) hθ(x)

定义损失函数为:

梯度下降

逐步最小化损失函数的过程
如同下山,找准方向(梯度),每次迈进一小步,直至山底(注:这里的 1 2 m \frac{1}{2m} 2m1只是一个系数,加上去是只是为了计算方便,下面的笔记中可能有些地方会省去,请勿在意)

在坐标系中的表示方法如下

假如现在有n个特征/变量 x j ( j = 1... n ) x_j(j=1...n) xj(j=1...n)

Tip1:调整学习速率

小心翼翼地调整学习率

举例:

上图左边黑色为损失函数的曲线,假设从左边最高点开始,如果学习率调整的刚刚好,比如红色的线,就能顺利找到最低点。如果学习率调整的太小,比如蓝色的线,就会走的太慢,虽然这种情况给足够多的时间也可以找到最低点,实际情况可能会等不及出结果。如果 学习率调整的有点大,比如绿色的线,就会在上面震荡,走不下去,永远无法到达最低点。还有可能非常大,比如黄色的线,直接就飞出去了,更新参数的时候只会发现损失函数越更新越大。

虽然这样的可视化可以很直观观察,但可视化也只是能在参数是一维或者二维的时候进行,更高维的情况已经无法可视化了。

解决方法就是上图右边的方案,将参数改变对损失函数的影响进行可视化。比如学习率太小(蓝色的线),损失函数下降的非常慢;学习率太大(绿色的线),损失函数下降很快,但马上就卡住不下降了;学习率特别大(黄色的线),损失函数就飞出去了;红色的就是差不多刚好,可以得到一个好的结果。

自适应学习率

举一个简单的思想:随着次数的增加,通过一些因子来减少学习率

  • 通常刚开始,初始点会距离最低点比较远,所以使用大一点的学习率

  • update好几次参数之后呢,比较靠近最低点了,此时减少学习率

  • 比如 η t = η t t + 1 \eta^t =\frac{\eta^t}{\sqrt{t+1}} ηt=t+1 ηt t t t 是次数。随着次数的增加, η t \eta^t ηt 减小

学习率不能是一个值通用所有特征,不同的参数需要不同的学习率

Adagrad 算法

每个参数的学习率都把它除上之前微分的均方根。解释:

普通的梯度下降为:

w t + 1 ← w t − η t g t w^{t+1} \leftarrow w^t -η^tg^t wt+1wtηtgt

η t = η t t + 1 \eta^t =\frac{\eta^t}{\sqrt{t+1}} ηt=t+1 ηt

  • w w w 是一个参数

Adagrad 可以做的更好:
w t + 1 ← w t − η t σ t g t w^{t+1} \leftarrow w^t -\frac{η^t}{\sigma^t}g^t wt+1wtσtηtgt
g t = ∂ L ( θ t ) ∂ w g^t =\frac{\partial L(\theta^t)}{\partial w} gt=wL(θt)

  • σ t \sigma^t σt :之前参数的所有微分的均方根,对于每个参数都是不一样的。

Adagrad举例

下图是一个参数的更新过程

将 Adagrad 的式子进行化简:

Adagrad 存在的矛盾

在 Adagrad 中,当梯度越大的时候,步伐应该越大,但下面分母又导致当梯度越大的时候,步伐会越小。

下图是一个直观的解释:

下面给一个正式的解释:

比如初始点在 x 0 x_0 x0,最低点为 − b 2 a −\frac{b}{2a} 2ab,最佳的步伐就是 x 0 x0 x0 到最低点之间的距离 ∣ x 0 + b 2 a ∣ \left | x_0+\frac{b}{2a} \right | x0+2ab,也可以写成 ∣ 2 a x 0 + b 2 a ∣ \left | \frac{2ax_0+b}{2a} \right | 2a2ax0+b。而刚好 ∣ 2 a x 0 + b ∣ |2ax_0+b| 2ax0+b 就是方程绝对值在 x 0 x_0 x0 这一点的微分。

这样可以认为如果算出来的微分越大,则距离最低点越远。而且最好的步伐和微分的大小成正比。所以如果踏出去的步伐和微分成正比,它可能是比较好的。

结论:梯度越大,就跟最低点的距离越远。

这个结论在多个参数的时候就不一定成立了。

多参数下结论不一定成立

对比不同的参数

上图左边是两个参数的损失函数,颜色代表损失函数的值。如果只考虑参数 w 1 w_1 w1,就像图中蓝色的线,得到右边上图结果;如果只考虑参数 w 2 w_2 w2,就像图中绿色的线,得到右边下图的结果。确实对于 a a a b b b,结论是成立的,同理 c c c b b b 也成立。但是如果对比 a a a c c c,就不成立了, c c c a a a 大,但 c c c 距离最低点是比较近的。

所以上述结论是在没有考虑跨参数对比的情况下,才能成立的。所以还不完善。

之前说到的最佳距离 ∣ 2 a x 0 + b 2 a ∣ \left | \frac{2ax_0+b}{2a} \right | 2a2ax0+b,还有个分母 2 a 2a 2a 。对function进行二次微分刚好可以得到: ∂ 2 y ∂ x 2 = 2 a \frac{\partial ^2y}{\partial x^2} = 2a x22y=2a
所以最好的步伐应该是: 一 次 微 分 二 次 微 分 \frac{一次微分}{二次微分}
即不止和一次微分成正比,还和二次微分成反比。最好的step应该考虑到二次微分:

Adagrad 进一步的解释

再回到之前的 Adagrad

对于 ∑ i = 0 t ( g i ) 2 \sqrt{\sum_{i=0}^t(g^i)^2} i=0t(gi)2 就是希望再尽可能不增加过多运算的情况下模拟二次微分。(如果计算二次微分,在实际情况中可能会增加很多的时间消耗)

Tip2:随机梯度下降法

之前的梯度下降:

L = ∑ n ( y ^ n − ( b + ∑ w i x i n ) ) 2 L=\sum_n(\hat y^n-(b+\sum w_ix_i^n))^2 L=n(y^n(b+wixin))2
θ i = θ i − 1 − η ▽ L ( θ i − 1 ) \theta^i =\theta^{i-1}- \eta\triangledown L(\theta^{i-1}) θi=θi1ηL(θi1)

而随机梯度下降法更快:

损失函数不需要处理训练集所有的数据,选取一个例子 x n x^n xn

L = ( y ^ n − ( b + ∑ w i x i n ) ) 2 L=(\hat y^n-(b+\sum w_ix_i^n))^2 L=(y^n(b+wixin))2
θ i = θ i − 1 − η ▽ L n ( θ i − 1 ) \theta^i =\theta^{i-1}- \eta\triangledown L^n(\theta^{i-1}) θi=θi1ηLn(θi1)

此时不需要像之前那样对所有的数据进行处理,只需要计算某一个例子的损失函数 L n L_n Ln,就可以赶紧更新梯度。

对比:

常规梯度下降法走一步要处理到所有二十个例子,但随机算法此时已经走了二十步(每处理一个例子就更新)

Tip3:mini-batch

不是每拿到一个样本即更改梯度,而是若干个样本的平均梯度作为更新方向,则是mini-batch梯度下降算法。

Tip4:特征缩放

比如有个函数:

y = b + w 1 x 1 + w 2 x 2 (12) y=b+w_1x_1+w_2x_2 \tag{12} y=b+w1x1+w2x2(12)
两个输入的分布的范围很不一样,建议把他们的范围缩放,使得不同输入的范围是一样的。

为什么要这样做?

上图左边是 x 1 x_1 x1 的规模比 x 2 x_2 x2 要小很多,所以当 w 1 w_1 w1 w 2 w_2 w2 做同样的变化时, w 1 w_1 w1 y y y 的变化影响是比较小的, x 2 x_2 x2 y y y 的变化影响是比较大的。

坐标系中是两个参数的error surface(现在考虑左边蓝色),因为 w 1 w_1 w1 y y y 的变化影响比较小,所以 w 1 w_1 w1 对损失函数的影响比较小, w 1 w_1 w1 对损失函数有比较小的微分,所以 w 1 w_1 w1 方向上是比较平滑的。同理 x 2 x_2 x2 y y y 的影响比较大,所以 x 2 x_2 x2 对损失函数的影响比较大,所以在 x 2 x_2 x2 方向有比较尖的峡谷。

上图右边是两个参数规模比较接近,右边的绿色图就比较接近圆形。

对于左边的情况,上面讲过这种狭长的情形不过不用Adagrad的话是比较难处理的,两个方向上需要不同的学习率,同一组学习率会搞不定它。而右边情形更新参数就会变得比较容易。左边的梯度下降并不是向着最低点方向走的,而是顺着等高线切线法线方向走的。但绿色就可以向着圆心(最低点)走,这样做参数更新也是比较有效率。

怎么做缩放?

方法非常多,这里举例一种常见的做法:

上图每一列都是一个例子,里面都有一组特征。

对每一个维度 i i i(绿色框)都计算平均数,记做 m i m_i mi;还要计算标准差,记做 σ i \sigma _i σi

然后用第 r r r 个例子中的第 i i i 个输入,减掉平均数 m i m_i mi,然后除以标准差 σ i \sigma _i σi,得到的结果是所有的维数都是 0 0 0,所有的方差都是 1 1 1

underfitting vs overfitting

回归与欠/过拟合

过拟合问题:如果我们有非常多特征/模型很复杂, 我们的假设函数曲线可以对原始数据拟合得非常好), 但丧失了一般性,从而导致对新给的待预测样本,预测效果差.

Coefficient of Determination

正则化

  • 控制参数幅度,不让模型“无法无天”
  • 限制参数搜索空间

岭回归和lasso回归

岭回归(Ridge regression: Hoerl and Kennard, 1970) 的原理和OLS 估计类似,但是对系数的大小设置了惩罚项。

lasso回归的原理

Logistic回归

logistic适用于解决分类问题,通过使用sigmoid函数完成由值到概率的转变,从而完成分类任务

线性回归-Logistic回归

sigmoid函数

Logistic回归参数估计

Logistic回归参数的学习规则为:

然后接下来的步骤和回归就一样了,防止过拟合的方法也是一样,例如在损失函数中加上惩罚因子后的样子如下

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页