Logistic regression

回归

“回归”就是“回归本质”的意思。用一个函数去拟合一组数据，随着数据越来越多，用来拟合的这个曲线就越来越接近真实的情况。
* linear regression：用直线拟合
* logistc regression：用一种曲线拟合（是不是sigmoid形状的曲线？）

Logistics regression

$\theta^T \cdot x$是linear regression，套一层sigmoid将输出映射到$(0,1)$。

假设训练集为${(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})}$；输入特征为$x^{(i)} \in R^{n+1}$（我们对符号的约定如下：特征向量$x^{(i)}$的维度为$n+1$，其中$x_0=1$，对应截距项）。由于logistic回归是针对二分类问题的，因此类标记$y^{(i)} \in \{0,1\}$。假设函数(hypothesis function) 如下：

$$h_\theta(x)=\frac{1}{1+e^{-\theta^{T} \cdot x}}, \theta \in R^{n+1}$$
Interpretion： $h_\theta (x^{(i)}) = Sigmoid(\theta^T \cdot x^{(i)})$是 $y^{(i)}=1$的概率， $1-h_\theta (x^{(i)})$是 $y^{(i)}=0$的概率( 吴恩达，Logistic Regression: Optimization Objective I)

训练$\theta$，使其能最小化代价函数：

$$J(\theta)=-\frac{1}{m}[\sum_{i=1}^{m}\log h_\theta(x^{(i)})+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))]$$
为什么cost function定义为这样？
* 首先的确可以定义为squared error的形式，即
$$J(\theta)=\frac{1}{m} \sum_{i=1}^{m} (h_\theta (x) -y^{(i)})^2$$
但是该曲线not convex，即很难找到全局最优。定义为上面的形式则convex。

• 对某个$(x^{(i)},y^{(i)})$分类讨论：

  1. 当$y^{(i)}=1$时，$cost \to \infty$ when $h_\theta(x^{(i)}) \to 0$; $cost \to 0$ when $h_\theta(x^{(i)}) \to 1 (i.e.\ y^{(i)})$
     

  2. 当$y^{(i)}=0$时，$cost \to 0(i.e.\ y^{(i)})$ when $h_\theta(x^{(i)}) \to 0$; $cost \to \infty$ when $h_\theta(x^{(i)}) \to 1$
     

• 用$\log$函数的意义在于，它就是好用，而且convex。（这里我也不明白，就先这么记着）