Coursera ML笔记 -----week3 Logistic Regression

欢迎点击作者原文地址

Logistic Regression /Classification

logistic regression和linear regression 并没有什么直接的联系，不要搞混淆了

1. 问题是什么 ？
   希望能够做一个分类，预期结果y是离散型 y =0 or 1

2. 我们怎么去做 ?
   用之前学过的线性回归去做，不行，因为线性回归的$h_\theta(x)$的取值范围并不局限在[0,1]之间，所以需要用Sigmoi function/Logistic function去做

3. 什么是Sigmoi function/Logistic function？
   

   $$h_\theta(x) = g(\theta^\mathrm{T}x)$$
   where $g(x)=\frac{1}{1+e^{-z}}$

4. 本质是什么
   $h_\theta(x)$实际是输入X时y=1的预期概率 $h_\theta(x) =P(y=1|x;\theta)$

5. decision boundary?
   当$h_\theta(x)$里面的$\theta$确定下来的时候，就会有一个看不见的decision boundry出现。和样本数据无关，不管有没有样本数据，decision boundry始终都在，它只是你的hypothesis的一个性质，只要你的参数$\theta$确定下来

6. 出现的原因？
   我们有一个threshold 0.5 当z>0.5时，g(z) >=0.5
   所以 if $\theta^\mathrm{T}x$ > 0 predict “y=1”

7. cost function
   我们希望cost function 最好能够是convex的，这样子能够保证我们在使用梯度下降法的时候能够收敛到全局最小点
   

   $$J(\theta) = \frac{1}{m}\sum_{i=1}^mCost(h_\theta(x^{(i)}),y^i)$$
   其中
   $$Cost(h_\theta(x),y) =\left\{ \begin{aligned} &-log(h_\theta(x)) && if & y =1\\ &-log(1-h_\theta(x)) && if & y=0 \end{aligned} \right.$$

当然，上式可以写成

$$Cost(h_\theta(x),y) = -ylog(h_\theta(x))-(1-y)log(1-h_\theta(x))$$
于是
$$J(\theta) = \frac{1}{m}\sum_{i=1}^mCost(h_\theta(x^{(i)}),y^i) \\= \frac{1}{m}\sum_{i=1}^m[-y^{(i)}log(h_\theta(x^{(i)}))-(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$$
8. Gradient Descent
repeat
{
$$\theta_j := \theta_j -\alpha\frac{\partial{J(\theta)}}{\partial{\theta_j}}=\theta_j - \alpha\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$$
$j = 0 ,1,2,3,4,... ,n$
}
9. 多分类问题
多分类问题其实可以看成多个二分类问题的求解
$$h_\theta^{(i)}(x) = P(y=i|x;\theta)$$
其中，i是类别的数目
$$x \in \max \limits_i \space \space h_\theta^{(i)}(x)$$