小白机器学习进阶之路（三）——逻辑回归和正则化

之前已经学过了线性回归并完成了相关作业。
这周的主要内容是逻辑回归与正则化。

**

分类问题：逻辑回归

**
简单讲逻辑回归是一种分类问题
因变量的值可以是0或1（复杂的问题可能还有2，3，4 等）
目的是用逻辑回归来得到分类区间，对已有数据进行分类同时对新数据进行预测。

逻辑回归使用sigmoid function来估计y = 1（2，3，4……）的概率。
以y仅能等于0或1的情形为例：
g(z) 为sigmoid 函数
h(x)为逻辑回归

h(x) = g(θTx)>=0.5则认为y是1的概率较大，故逻辑回归的结果为1
该条件等价于θTx>=0，因此θTx=0即为决定边界。θTx>=0的范围即为逻辑回归值为1的区间。

如何计算参数θ？
依旧可以使用梯度下降算法和正规方程解法
但是这里要注意定义的cost function 不再是差的平方和的形式。因为这种形式里h(x)不再是一个凸函数。

采用
cost function J(θ) = ∑-ylog(h(θ))+(1-y)log(1-h(x)) (未正则化)
来描述误差
使用梯度下降算法让cost function 最小化即可得到θ

出现问题：过拟合

过拟合是当θ维度过高时产生的问题。过拟合特点是误差很小但是函数很复杂。对训练集能做非常好的拟合但是明显不符合实际，在预测新数据时会出现问题。
如图左中右三种情况分别是“低度拟合，合适，过拟合”三种情况。

解决过拟合问题：正则化

正则化思想：最小化所有的θ，使高阶项的系数θ趋近于零，则图像趋近于更低阶的图像

方法
cost function 改为
∑-ylog(h(θ))+(1-y)log(1-h(x)) +λ∑1/2θ^2
λ为正则化系数，用于平衡左右两项，需要自己设定来找到合适的系数。

正则化之后的梯度下降算法：
θj := θj (1-αλ/m） - α/m∑（h(x) - y）xj

正则化之后的正规方程：
θ = （XTX+λM）^-1XTy
M为(n+1)x(n+1)型矩阵，对角线上除左上角为0外，其余为1。不在对角线上的元素都为0。

#学习资源：
吴恩达机器学习