Coursera-Machine Learning 之 Logistic Regression (逻辑回归)-0x01

Hypothesis Representation （假设函数表达式）

Logistic Regression Model
Want $0\leq h_{\theta}(x) \leq 1$

$$\left. \begin{array}{l} h_{\theta}(x) = g(\theta^{T}x) \\ g(z) = \dfrac{1}{1+e^{-z}} \end{array} \right\} \to h_{\theta}(x) = \dfrac{1}{1+e^{-\theta^{T}x}}$$

Sigmoid function
Logistic function
This two concept are basically synonyms and mean the same things.
这两个函数概念基本是同义词，表示了$g(z)$

Sigmoid function wiki pedia

Sigmoid 函数 百度百科

Interpretation of Hypothesis Output
对于一个已存在的数据集，我们需要为假设函数寻找一个$\theta$来拟合这个数据集；

$h_{\theta}(x) = P(y=1|x;\theta)$
在给定的特征值$x$，参数值$\theta$下，$y=1$的概率。

$P(y=0|x;\theta) = 1 - P(y=1|x;\theta)$

Decision Regression（决策边界）

• Logistic Regression

假设预测：
如果 $h_{\theta}(x) \geq 0.5$，则 $y=1$；
如果 $h_{\theta}(x) < 0.5$，则 $y=0$；

在$g(z)$函数中
如果 $z \geq 0$，则 $0.5\leq g(z)<1$；
如果 $z<0$，则 $0< g(z)<0.5$；

所以
$\color{blue}{\theta^{T}x \geq 0} \Rightarrow h_{\theta}(x)\geq0.5 \Rightarrow \color{blue}{y = 1}$
$\color{navy}{\theta^{T}x < 0} \Rightarrow h_{\theta}(x) < 0.5 \Rightarrow \color{navy}{y = 0}$

• Decision Boundary

$h_{\theta}(x) = g(\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2})$

假设： $\theta_{0} = -3, \theta_{1} = 1, \theta_{2} = 1$

$$\theta = \begin{bmatrix} -3\\ 1\\ 1 \end{bmatrix}$$

Predict
$"y = 1"$ if $-3 + x_{1} + x_{2} \geq 0$
$"y = 0"$ if $-3 + x_{1} + x_{2} < 0$

这里可以看出 $x_{1} + x_{2} = 3$ 这条线 是上述两个等式取不同值得分界线，这条分界线就被称为决策边界；
在这里，决策边界是假设函数的一个属性，由参数决定，与数据集无关。

• Non-linear decision Boundaries

$h_{\theta}(x) = g(\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\theta_{3} x_{1}^{2}+\theta_{4} x_{2}^{2})$

support:

$$\theta = \begin{bmatrix} -1\\ 0\\ 0\\ 1\\ 1 \end{bmatrix}$$

Predict
$"y = 1"$ if $-1 + x_{1}^{2} + x_{2}^{2} \geq 0$
$"y = 0"$ if $-1 + x_{1}^{2} + x_{2}^{2} < 0$

此时，决策边界为 $x_{1}^{2} + x_{2}^{2} = 1$

参数 $\theta$ 并不是由训练集所决定的，但是可以由训练集拟合出 $\theta$

高阶复杂的假设函数：

$h_{\theta}(x) = g(\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\theta_{3} x_{1}^{2}+\theta_{4} x_{1}^{2} x_{2} + \theta_{5} x_{1}^{2} x_{2}^{2}+ ...)$