4.14-Logistic Regression

首先回忆上次课说到的，classification可以从概率的角度解释，将C1中data点的分布用一个最适合的高斯分布拟合，loss就是衡量这个高斯分布的好坏，通过计算各个点（所有点，C1和C2的）的高斯值的乘积（这个东西也是某个x出自C1的可能性，如下图），所以这个乘积代表可能性，越大越好（二分类，把C1的精确提起来，非C1的自然就是C2了），所以此时是loss的函数值越大越好，认为这样的model可以在新的x出现时更好的判断x出自C1的可能性。然后又提到了function，也就是P(C1|x)可以变形，经过数学计算之后可以写成σ(z)，也就是z的sigmoid函数，而且此时的z其实就长成wx+b的形式，也就是和之前讲的regression回归问题的function很像，它其实和logistics regression逻辑回归非常像。因为 有sigmoid函数，所以输出就只能在0-1之间。但其实他们不一样，因为逻辑回归其实和线性回归才是一家的，只是说通过高斯求出来的可以跟逻辑回归的结果形式上是一模一样的，其实逻辑回归的原理如下：

并且这里（分类问题中）的自变量不是x，而是(C1|x)——x从C1中选出的可能性，如下图。

---

（本次课新内容）然后就是把loss进行一系列的数学变形，计算：

1.先把求loss最大值，变成求-ln L(w,b)的最小值，取ln后，诸多个乘积就变成了相加。

2.在求C1的(w,b)的时候定义属于C1的x的y值是1，不属于的是0，带入。

3.变形之后的L长得就像两个伯努利分布的cross distuibution交叉熵，并且这两个伯努利可以写成是f(xn)和yn。

4.这样就可以把loss写成类线性回归中的平方误差的样子了，此时他们都意味着f(xn)和yn之间的差别越小越好。

---

下面就是梯度下降来找到最好的function了，是的逻辑回归这种形式的也用梯度下降法。总之就是一系列数学计算。

1.梯度就是给L求微分，如下图，两个红框上面是经过数学计算后的，带入把绿色的消掉，蓝色的x提出来之后就写成了最后的结果。

2.然后我们就会发现，紫色下划线的这一项是真实值（0和1）与估计值（0-1之间的某个概率值）的差值。也就是说右下角的每一步的移动由3个部分决定：学习率n、输入data的数值xi、以及差值的负数。也就是说差值越大，走得越多，差值小就走的也小，这一点也是和梯度下降的原理相同。

---

然后我们就可以发现，回归的3个步骤里面，逻辑回归与线性回归基本上是一模一样的，除了step2里面输出是0或1，线性回归里面输出是真实数字之外。明明两种回归从原理和出发点都完全不一样，但是在数学的计算下，却出奇的一致。

---

下面看一下在逻辑回归中使用平方误差来计算L，因为从概率来推的时候我们发现推出来的L是两个分布的交叉熵，在线性中则是简单的真实值与估测值的差值平方，那么为什么不在设定L的时候就给逻辑回归也用square error呢，现在来试一下。

然后就会发现，在计算微分的时候，因为逻辑回归中的y值是0和1，所以会出现当真实值是1的时候，估测值不管是很接近还是很远离真实值，都会让微分为0，把它画在图里面就是下图的红色，在中心和边缘都是平坦的，梯度移动不了。调整学习率都没用，因为你也不知道微分为0的时候他是在中心还是在边缘。

黑色的是交叉熵的图，他就不一样，他在中心是平坦的，也就是越接近移动的越慢，而在边缘是陡峭的，也就是越远离梯度会越大。

---

discriminative区别的 VS generative生成的

因为用高斯生成的和逻辑回归（区别的，直接得出的w,b）的function长一样的，那么用两种方式得到的(w,b)是同一组吗。答案是当然不一样，毕竟机理是不一样的。

直接上总结：

1.没有一定的谁好谁坏，取决于数据量，高斯生成时带有假设性质，它会考虑没出现过的数据的概率，所以少的数据会给他更大的想象空间，鲁棒性也很好，但是也会出现很明显的误判

2.生成性的网络其实还挺重要，在语音辨识方面的基础架构都是这个。

3.其实有举一个例子来讲解，这里没放上。

---

后面举了三分类的例子，还讲了逻辑回归的局限性，以及怎么通过transform转换来解决。