机器学习基础算法小结

机器学习的问题更多的对算法模型的优化，特征工程也属于对算法模型的优化，这一点在后面均有体现。

说明：本文是对部分机器学习的算法模型的思想进行抽取，不会出现详细的推导。

先看一下要掌握的算法有哪些，我个人觉得部分算法有点偏，不过应该是在某个领域里有应用而且效果很好，否则不会成为必掌握的算法。

线性回归

1、线性函数的表示：

$$f\left ( x \right ) = \theta _{0}x_{0} + \theta _{1}x_{1} + \cdots + \theta _{n}x_{n}$$
向量形式： $$f\left ( x \right ) = \vec{\theta}^{T} \vec{X}$$
其中： $$\vec{\theta} = \left ( \theta_{1}; \theta_{2}; \cdots \theta_{n} \right )$$
当 Θ 确定后，模型就确定了，Θ = 0是可得截距项 b。

2、cost function，亦即最小二乘法估计：

$$J\left ( \theta _{i} \right ) = \frac{1}{2m}\sum_{i = 1}^{m}\left ( h_{\theta }\left ( x_{i} \right ) - y_{i} \right )^{2}$$
记得前面说过的机器学习的大部分问题都是优化模型吗？开始，使用梯度下降优化代价函数，这也是线性回归算法思想的精髓。
$$\theta _{j} := \theta _{j} - \alpha \frac{\partial }{\partial \theta _{j}} J\left ( \theta \right )$$
α 为学习率。

3、为防止过拟合，加入正则化：

$$J\left ( \theta _{i} \right ) = \arg \underset{\theta }{ \min} \frac{1}{2m}\left [ \sum_{i = 1}^{m}\left ( h_{\theta }\left ( x_{i} \right ) - y_{i} \right )^{2} + \lambda \sum_{j=1}^{n} \theta_{j}^{2} \right ]$$
优点：易于理解，计算简单；
缺点：不能拟合非线性数据；

logistic回归

首先明确logistic回归不是回归，而是线性分类器。
1、logistic函数表达式为：

$$h_{\theta}\left ( x \right ) = g\left ( \theta ^{T} x\right ) = \frac{1}{1+e^{-\theta ^{T} x}}$$
其中： $$g\left ( z\right ) = \frac{1}{1+e^{-z}}$$
经变形后得： $$\ln \frac{h_{\theta}}{1 - h_{\theta}} = \theta ^{T} x$$

2、logistic回归主要是通过极大似然来估计待求参数 Θ 的值，样本的后验概率为：

$$L\left ( \theta \right ) = p\left ( \vec{y} \mid X;\theta \right ) = \prod_{i=1}^{m}p\left ( y^{\left ( i \right )} \mid x^{\left ( i \right )};\theta \right)$$
$$= \prod_{i=1}^{m}\left ( h_{\theta }\left ( x^{\left ( i \right )} \right ) \right )^{y^{\left ( i \right )}}\left ( 1- h_{\theta }\left ( x^{\left ( i \right )} \right ) \right )^{1-y^{\left ( i \right )}}$$
其中： $$P\left ( y=1\mid x;\theta \right ) = h_{\theta }\left ( x \right )$$
$$P\left ( y=0\mid x;\theta \right ) =1- h_{\theta }\left ( x \right )$$
对该式取似然对数可得cost function：

J(θ)=−1m