Andrew Ng Machine Learning 专题【Logistic Regression & Regularization】

此文是斯坦福大学，机器学习界 superstar — Andrew Ng 所开设的 Coursera 课程：Machine Learning 的课程笔记。力求简洁，仅代表本人观点，不足之处希望大家探讨。
课程网址：https://www.coursera.org/learn/machine-learning/home/welcome

Week 2：Linear Regression with Multiple Variables笔记：http://blog.csdn.net/ironyoung/article/details/47129523

Week 3：Logistic Regression & Regularization

1. Logistic Regression

   1. 对于分类问题而言，很容易想到利用线性回归方法，拟合之后的$h_{\theta}(x)>0.5$则为True，其余为False.
   2. 但是线性回归有一个问题，拟合出的值都是离散的，范围不确定。为了方便分析，我们希望将拟合出的值限制在0~1之间。因此，出现了逻辑回归。
   3. 逻辑回归的模型是一个非线性模型：sigmoid函数，又称逻辑回归函数。但它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。
   4. sigmoid函数（或，逻辑回归函数）：$g(z)=1/(1+e ^{-z})$。其函数图像为：
      
      这个函数的特征非常明显
      
      • 函数值一直在0~1范围内；
      • 经过$(0, 0.5)$点。这个很容易作为区分0，1类的分界线。
   5. 逻辑回归中，对于原本线性回归中拟合而成的hypothesis函数，需要经过sigmoid函数的修饰：$h_{\theta}(x)=\theta^{T}x \Rrightarrow h_{\theta}(x)=g(\theta^{T}x)$
      此时，$h_{\theta}(x)$的含义发生了变化，$h_{\theta}(x)=P(y=1|x;\theta)$。成为
      
      • ”the probability that y=1, given x, parameterized by $\theta$”
      • 因此有，$P(y=0|x;\theta) + P(y=1|x;\theta) = 1$
   6. Decision Boundary。表示的是 hypothesis 函数确定之后，划分数据分类的界限，并不一定可以百分百区分数据集，只是函数的属性之一。下图蓝色曲线即为某个 Desicision Boundary。
      

2. Cost Function

   1. 回忆线性回归的 cost function，我们在其中插入 cost 函数的概念： J(θ 0 ,θ 1 )=12m ∑ i=1 m (h θ (x (i) )−y (i) ) 2 =1m ∑ i=1 m cost(h θ (x (i) ),y (i) )=1m ∑ i=1 m cost(