机器学习算法 之 回归算法

一、回归和分类的概念
了解回归算法之前，先来明确两个概念，回归和分类。
回归是指通过算法最终预测出一个连续而具体的值。而分类对应可能结果中的一种。
举个例子：从银行贷款，银行根据你提交的资料，最终会决定放贷|不放贷，把你划分到放贷的类型，或不放贷的类型里面，你只能属于其中一个类别，这就叫分类。而银行根据综合评估，最终决定给你贷多少钱，这个就是回归。
二、线性回归

假设有两个特征x1，x2，通过数据训练，可以得到权重参数θ1，θ2，θ0 为固定值，一般为1.
如果有n个特征值，则hθ为n个特征值与权重相乘后的加和，如第二个式子，引入矩阵概念，则可表示为θTx
通常会引入误差来评估准确性。


将左边式子代入右边误差概率计算式，找出一个合适的θ使得θ与x的组合使得值最接近于y值的最大概率。
L（θ）-- 似然函数，事件之前相互独立，累乘。
目的：找到合适得θ使得似然函数最大

logL（θ）–对数似然函数，使用对数使乘法求最大，变成累加，更易计算。
l（θ）最后一步，减号后面的式子永远为正数，要使得l（θ）最大，只能使减号右边式子最小，J（θ）平方误差代价函数（损失函数）便求的最小值。

对J（θ）进行求导，引入矩阵，求出θ即可。

此过程为正规方程求解θ。

利用解析解求解多元线性回归,虽然看起来很方便,但是在解析解求解的过程中会涉及到矩阵求逆的步骤.随着维度的增多,矩阵求逆的代价会越来越大(时间/空间),而且有些矩阵没有逆矩阵,这个时候就需要用近似矩阵,影响精度.

梯度下降（gradient descent）在机器学习中应用十分的广泛，不论是在线性回归还是Logistic回归中，它的主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。