吴恩达机器学习-第三周

1.逻辑回归

 逻辑回归（Logistic Regression）是一种分类算法，该模型的输出变量范围在0和1之间。
 逻辑回归的假设函数为$h_{\theta }=g({\theta }^{T}X)$,g表示逻辑函数（Logistic Function）是一个常用的S型函数（Sigmoid Function）,公式为$g(z)=\frac{1}{1+e^{-z}}$，函数图像为

$h_{\theta }(x)$作用为对给定的输入变量x，根据选择的参数计算变量输出为1的可能性,即$h_{\theta }(x)=P(y=1|x;\theta )$

 在逻辑回归中，当$h_{\theta }(x)>=0.5$，预测 y = 1；当$h_{\theta }(x)<0.5$，预测 y = 0

 根据图像可知，z = 0时 g = 0.5 ； z > 0时 g > 0.5 ；z < 0 时 g < 0.5

 又因为 $z={\theta }^{T}X$，所以参数$\theta$决定了判定边界，不是数据集决定。

$$代价函数：J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$，其中$Cost(h_{\theta }(x^{(i)}),y^{(i)})=-y\times \log (h_{\theta }(x))-(1-y)\times \log (1-h_{\theta }(x))$

但是令人震惊的是对于代价函数的求导结果竟然和多变量线性回归是一样的公式，因此更新参数的公式也是一样的。（$h_{\theta }(x)内涵不一样$）$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
具体推导过程如图：

2.正则化

正则化目的：改善或者减少过度拟合的问题。保留所有特征，但是减少参数的大小。
正则化基本方法：减少参数$\theta$的大小，对一些参数加入惩罚，给参数值加倍来使得到的对应的参数值减小。但是不包括${\theta }_0$

2.1正则化线性回归

给代价函数每一个样本都加上$\frac{\lambda }{2m}{\sum }_{j=1}^n{\theta }_j^2,\lambda 为正则化系数$

2.2正则化逻辑回归