Coursera吴恩达机器学习课程 总结笔记及作业代码——第3周逻辑回归

Logistic Regression

上一次的课程主要解决回归分析问题，这一次的课程主要为分类问题，分类问题也可看做将回归问题的连续性离散化。

1.1 Classification

先来谈谈二分类问题。课程中先给出了几个例子。

邮件是垃圾邮件还是非垃圾邮件；网上交易是的欺骗性（Y or N）；肿瘤是恶性的还是良性的。
对于这些问题，我们可以通过输出值y $\epsilon$ {0, 1} 来表示。


通过上次的课程，我们可以想到利用假设函数$y=h_\theta(x)$来预测分类，而普通的$h_\theta(x)$函数存在函数值大于1和小于0的情况，于是我们要构造特殊函数使$0\leq h_\theta(x)\leq1$。

1.2 Hypothesis Representation

Sigmoid function: $h_\theta(x) = \frac{1}{1 + e^{-\theta^Tx}}$

$y=h_\theta(x) = g(\theta^Tx)$
$g(z) = \frac{1}{1 + e^{-z}}$


假设函数代表了一种概率含义
$h_\theta(x) = P(y=1|x;\theta)$
$P(y=1|x;\theta) + P(y=0|x;\theta) = 1$

1.3 Decision boundary

$y=h_\theta(x) = g(\theta^Tx)$
$g(z) = \frac{1}{1 + e^{-z}}$

1. y=1