机器学习算法（一）

一、线性回归

给定一组数据$(x_i,y_i)$，$y_i$是连续的，用线性模型${\hat{y}}_i=h_{\theta }(x_i)={\theta }^T{x}_i$，估计值${\hat{y}}_i$与实际值$y_i$间存在误差${\epsilon }_i$，即
$$y_i={\theta }^T{x}_i+{\epsilon }_i(1)$$.
误差${\epsilon }_i$属于独立同分布的，根据大数定理，${\epsilon }_i\sim \mu (0,{\sigma }^2)$,则有：
$$p({\epsilon }_i)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{{\epsilon }_i^2}{{\sigma }^2}}(2)$$
${\epsilon }_i=y_i-{\theta }^T{x}_i$带入(2)式有，
$$p(y_i|x_i,\theta )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(y_i-{\theta }^T{x}_i{)}^2}{{\sigma }^2}}(3)$$
转成了$x_i,\theta$已知的情况下，$y_i$发生的概率。
最大似然函数为
$$L(\theta )={\Pi }_{i=1}^{m}p(y_i|x_i,\theta )(4)$$
将（3）式带入(4)中，然后取对数，最后得到
$$J(\theta )=\frac{1}{2}{\Sigma }_{i=1}^m(h_{\theta }(x_i)-y_i{)}^2=\frac{1}{2}({\theta }^{T}X-Y{)}^T({\theta }^{T}X-Y)$$
通过最小二乘法，求出参数$\theta$

方法二：最小均方误差（整体误差的平方和最小，几何方法）
$$cost(\theta )=min\frac{1}{2}{\Sigma }_{i=1}^m(h_{\theta }(x_i)-y_i{)}^2(5)=min\frac{1}{2}({\theta }^{T}X-Y{)}^T({\theta }^{T}X-Y)$$
为了求(5)式的最小值，由于$cost(\theta )>=0$，对$\theta$求导，导数为0的点记为参数$\theta$的值，即可得出线性模型${\hat{y}}_i=h_{\theta }(x_i)={\theta }^T{x}_i$

在$X^{T}X$中加入了$\lambda$后，带入$J(\theta )$中，

逻辑斯谛回归

假设数据服从二项分布，得到数据分布律：$$p(y|x;\theta )=(h_{\theta }(x_i{)}^{y_i}(1-h_{\theta }(x_i){)}^{1-y_i}$$
通过求逻辑斯谛回归的最大似然，求解模型的参数$\theta$.解析法求解参数比较难，用梯度下降法求解

二、通过交叉验证选取超参数

三、梯度下降算法