机器学习算法总结--线性回归和逻辑回归

1. 线性回归

简述

在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变量都是一次方）。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。

优点：结果易于理解，计算上不复杂。
缺点：对非线性数据拟合不好。
适用数据类型：数值型和标称型数据。
算法类型：回归算法

线性回归的模型函数如下：
$$h_{\theta }={\theta }^{T}x$$
它的损失函数如下：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
通过训练数据集寻找参数的最优解，即求解可以得到$minJ(\theta )$的参数向量$\theta$,其中这里的参数向量也可以分为参数$和w和b$,分别表示权重和偏置值。

求解最优解的方法有最小二乘法和梯度下降法。

梯度下降法

梯度下降算法的思想如下(这里以一元线性回归为例)：

首先，我们有一个代价函数，假设是$J({\theta }_0,{\theta }_1)$，我们的目标是$mi{n}_{{\theta }_0,{\theta }_1}J({\theta }_0,{\theta }_1)$。
接下来的做法是：

• 首先是随机选择一个参数的组合$({\theta }_0,{\theta }_1)$,一般是设${\theta }_0=0,{\theta }_1=0$;
• 然后是不断改变$({\theta }_0,{\theta }_1)$，并计算代价函数，直到一个局部最小值。之所以是局部最小值，是因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值，选择不同的初始参数组合，可能会找到不同的局部最小值。
  下面给出梯度下降算法的公式：

repeat until convergence{

$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)(forj=0andj=1)$$

}

也就是在梯度下降中，不断重复上述公式直到收敛，也就是找到$局部最小值局部最小值$。其中符号:=是赋值符号的意思。

而应用梯度下降法到线性回归，则公式如下：