吴恩达机器学习笔记 逻辑回归Logistics Regression

  逻辑回归与之前的线性回归虽然名字类似，但其实是一种分类的方法，如分辨是否为垃圾邮件（是或否），输入肿瘤特征分辨是良性还是恶性等。因为最终的类别（eg.只有是和否两种情况）已经确定，我们只需要将不同的输出结果进行分类，这就需要一个阈值（eg. 0.5），以此为界限进行分类。

  如果参考之前线性回归的假说ℎ𝜃 (𝑥)，拟合的线受到数据影响，同样的阈值可能产生不同的结果，因此逻辑回归提出了新的假设：

  ℎ𝜃 (𝑥)使用sigmoid函数，输出范围在0~1之间，意义是对于给定的输入变量，根据选择的参数计算输出变量=1 的可能性，

即ℎ𝜃 (𝑥) = 𝑃(𝑦 = 1|𝑥; 𝜃)。在二分类问题中，分类结果为0/1，所以有 𝑃(𝑦 = 1|𝑥; 𝜃)+ 𝑃(𝑦 = 0|𝑥; 𝜃)=1

 

决策边界：我们假设

          ℎ𝜃 (𝑥)≥0.5→y=1        ℎ𝜃 (𝑥)<0.5→y=0

 

ℎ𝜃 (𝑥)=g(𝜃’𝑥)≥0.5     由图像可解得需要𝜃’𝑥≥0，由此式得到决策边界。

代价函数：

梯度下降