回归

1.线性回归
目标函数：$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i{)}^2$$
正则化后为：$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i{)}^2+\frac{\lambda }{2n}\sum _{j=1}^n{\theta }_j^2$$
拟合函数：$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+\cdots$$
最小化代价函数$J(\theta )$
2. 梯度下降：
$${\theta }_j:{\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$
3.偏导数求法：
$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)\ast \theta {}_j^i+\frac{\lambda }{n}{\theta }_j$$
4.logistic回归
损失函数：
$$cost=\{\begin{array}{ll}-\log h_{\theta }(x),& \text{if y=1}\\ -\log (1-h_{\theta }(x)),& \text{if y=0}\end{array}$$
说明：$h_{\theta }(x)=sigmoid(\theta x)$,取值范围是$[0,1]$,当y=1时，如果$h_{\theta }(x)$的值越大，相对应的损失函数越小；同理，当y=0时，如果$h_{\theta }(x)$的值越小，相对应的损失函数越小。
目标函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log h_{\theta }(x^i)+(1-y^{(i)})\log (1-h_{\theta }(x^i)))$$
同理，正则化后为：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log h_{\theta }(x^i)+(1-y^{(i)})\log (1-h_{\theta }(x^i)))+\frac{\lambda }{2n}\sum _{j=1}^n{\theta }_j^2$$

拟合函数：
$$h_{\theta }(x)=sigmoid(\theta x)=\frac{1}{1+e^{-(\theta x+b)}}$$

$sigmoid$函数很大的优点就是$g^{\prime }(z)=g(z)\ast (1-g(z))$
使用方法同样为梯度下降。