吴恩达机器学习笔记（二）（附编程作业链接）

吴恩达机器学习笔记（二）

标签： 机器学习

---

一.逻辑回归（logistic regression）

1.逻辑函数&&S型函数(logistic function and sigmoid function)

线性回归的假设表达式不试用于仅有0,1两种结果的分类表达，将表达式简单修改为逻辑函数也叫S型函数如下：

$$\begin{align*}& h_\theta (x) = g ( \theta^T x ) \newline \newline& z = \theta^T x \newline& g(z) = \dfrac{1}{1 + e^{-z}}\end{align*}$$

该函数的函数图像如下

在预测时输入x变量所得的g(z)即结果为1的概率值

2.决策边界（decision boundary）

$$\begin{align*}& h_\theta(x) \geq 0.5 \rightarrow y = 1 \newline& h_\theta(x) < 0.5 \rightarrow y = 0 \newline\end{align*}$$
在S型函数中若y大于0.5边界则x必定大于0，于是：
$$\begin{align*}& h_\theta(x) = g(\theta^T x) \geq 0.5 \newline& when \; \theta^T x \geq 0\end{align*}$$
所以可以推出以下 结论！
$$\begin{align*}& \theta^T x \geq 0 \Rightarrow y = 1 \newline& \theta^T x < 0 \Rightarrow y = 0 \newline\end{align*}$$

3.代价函数(cost function)

分类问题的代价函数与回归问题的代价函数有一定的区别如下：

$$\begin{align*}& J(\theta) = \dfrac{1}{m} \sum_{i=1}^m \mathrm{Cost}(h_\theta(x^{(i)}),y^{(i)}) \newline & \mathrm{Cost}(h_\theta(x),y) = -\log(h_\theta(x)) \; & \text{if y = 1} \newline & \mathrm{Cost}(h_\theta(x),y) = -\log(1-h_\theta(x)) \; & \text{if y = 0}\end{align*}$$
当y=1时函数图像如下

当y=0时函数图像如下

4.代价函数的简化(Simplified Cost Function)

$\mathrm{Cost}(h_\theta(x),y)$可以写作：

Cost(hθ(x