李宏毅机器学习2016 第五讲 逻辑回归

视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩

课程资源：Hung-yi Lee

课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5

我的第四讲笔记：http://blog.csdn.net/sinat_25346307/article/details/79063812

Logistic Regression

本章节主要介绍了逻辑回归方法，并且对比了第一章的线性回归；进而对生成模型和判别模型进行对比。最后讨论了逻辑回归的局限性并进而引申出神经网络。

1.逻辑回归三大步

step 1：函数集

在上一章节的节末，我们提出直接选择w以及b的值来获取对应的模型集合。

我们可以定义包含所有不同的w和b的函数集:

                                    

函数集

我们的目标是找到满足条件的函数（w，b）：当其值大于0.5输出类别1否则输出类别2（对于二分类问题）。  ,即如图所示

step2：判断函数好坏

定义交叉熵函数作为损失函数，判断函数的好坏。

               

其中   (带帽子的）表示其值为目标值，   ( )是函数的输出值（介于0、1之间） 。

其本质就是两个伯努利分布的交叉熵。

交叉熵损失函数本质

Q：为什么不用均方误差值作为损失函数呢?

step3: 找到最佳函数

利用梯度下降方法求导时，可得（具体步骤省略，具体可参考课程也可私信我哟。）

对目标函数求偏导

发现形式和线性回归的形式一模一样，表明输出值与目标值之间的差值越大则更新的越快。

进而回答下step2的问题，为什么不像线性回归那样使用均方误差呢？

这是因为如果使用均方误差，那么在第三步求导时，会得到

此时，当函数输出值远离目标值和靠近目标值时，其偏导值都接近于0，导致距离目标值很远时，loss也很小，更新的速度慢，如果增大学习率的话，也无法确定输出值到底是远离目标值还是接近目标值。如下图所示：

关于逻辑回归和线性回归的比较：

2.判断模型和生成模型

判别模型可以说是直接去寻找w和b，而生成模型基于一定的假设去寻找相应的值。

因此即使有着相同的函数集，相同的训练数据也会选择不同的函数。这是因为生成模型是做了假设。

在上一章节中的例子，如果使用判别模型（逻辑回归）能够达到79%的准确率。

一般来说，判别模型会优于生成模型。

但生成模型也有优点：

1.判别模型受数据量的影响较大，而概率生成模型只需要小的训练数据集即可。

2.生成模型基于一定的假设，因此对于噪声更具有健壮性。

3.多类别分类

多类别分类主要用到softmax函数，softmax其实不是“软最大”，它是强最大，将强化最大值，将差值进一步扩大。

其目标函数同样可由极大似然估计得到交叉熵的形式：

4.逻辑回归的局限性

逻辑回归的局限性主要在于无法通过一个函数来解决异或问题。

一个解决方法是可以通过转换特征空间方法解决异或问题，但是不能总是通过依赖手工的方法来找到一个好的转换，这就违背了机器学习的本质。

这个问题可以通过神经网络，也就是下一章节要介绍的深度学习来解决。

5.总结

1.介绍Logistic Regression原理，与第一章的Linear Regression进行对比；

2.介绍了Discriminative Model判别模型，与第四章的Generative Model生成模型对比；

3.讨论了逻辑回归的局限性并进而引出下一章节的深度学习。