机器学习笔记（三）吴恩达课程视频（Logistic回归）

Logistic回归（逻辑回归）

一个分类算法，输出值永远在0~1之间

这是一个分类算法，虽然名字中有“回归”二字，但是它是分类算法，适用于标签y取值离散的情况。

logistic function 与sigmoid function 表达的意思一样

1.假设陈述

x代表特征向量，g代表逻辑函数（logistic function）,是一个常用的逻辑函数为s形函数（sigmoid function），

其中z=X

这是的图像

又因为

所以

注：拟合边界是以得到的为依据，而不是依据训练集中的数据，训练集中的数据是用来得到我们想要的值的。

代价函数

计算得到的梯度下降函数为：

看上去和线性回归的梯度下降函数是一个函数，但是和线性回归是不一样的：

 

其他高级优化算法

多类别分类：一对多

将训练集中n个类别，每次分出一类来，做法就是将本次要分出来的类分作一类，其余剩下的其他类分作一个伪类，最终分成n个二元分类问题。

最后预测时，将所有分类机运行一遍，然后对每一个输入变量都选择最高可能性的输出变量

也就是对分出来的n个选择概率最高的？（推测是，试验后验证是不是这样）