课时6-1 分类
解决一些输出y时离散值的问题:
比如输出0、1是否是垃圾邮件
先讨论二分类问题:
如果用线性回归的方式设置分类阈值为0.5:
可以看出用线性回归解决分类问题并不合适。
所以我们现在要介绍Logistic Regression,它的输出一直介于0和1之间。
这是一种分类算法,不要因为名字疑惑。
课时6-2 假设陈述
Logistic Regression的假设函数:
也就是将输出通过sigmoid函数映射到了0和1之间,然后还是通过数据集来拟合参数。
输出y可以用概率表示,就是在给的参数和输入x的形况下y=1的概率:
同理可得y=0的概率。
课时6-3 决策界限
我们定,假设函数≥0.5时,y=1;反之y=0。
看图可以知道其实就是sigmoid函数的输入>或者<0的情况,如下图:
举个例子:
可以看到,刚才对Sigmund函数自变量的限制就画出了一条决策界限。
再看个例子:
课时6-4 代价函数
本课时介绍如何拟合logistic回归,优化目标就是代价函数,老生常谈了
如果用线性回归的代价函数的话,容易得到非凸函数,如图中左下所示,因为假设函数比较复杂,我们更希望得到图中右下的函数,然后可以再使用梯度下降。
所以Logistic Regression的损失函数如下定义,(这个损失函数计算完每个样本之后还得加和,就是上一张图写的那样)它有很多好的性质:
应该可以理解的,对于每一个样本,假如y=1,预测的也是1,则误差为零。
课时6-5 简化代价函数与梯度下降
蓝色的式子其实就是上面的代价函数,换了种写法,显得更加简洁:
于是,最终整个模型的代价函数为:
用梯度下降法更新参数的模板:
课时6-6 高级优化
高级优化方法,相比梯度下降能更快逻辑回归:
课时6-7 多元分类:一对多
多类别分类,不再是二分类了:
数据集是这样:
方法,使用三次二分类: