学习机器学习之线性回归的概念

线性回归的理解：

在二维平面内，有一些数据集，分别对应的有x值和y值，然后x与y之间有对应的函数关系。而我们说的线性回归，就是拟合出一条直线段，让尽可能多的数据集在直线段附近，拟合出最好的一条线段。
描述y和x之间关系的函数表达式我们可以写为：
𝑓(𝑥)=𝜃0+𝜃1𝑥1+𝜃2𝑥2+…+𝜃𝑑𝑥𝑑
如何确定好𝜃 的值，使得𝑓(𝑥) 尽可能接近y的值。均方误差是回归中常用的性能度量：
找到合适的𝜃 值，让𝐽(𝜃)的值最小
对于$(h\theta (x(i)-y(i){)}^2$而言，为了可以找到最优值θ，将其变为凸函数，这样子只要找到合适的学习率，不断迭代，即可找到全局最优值。

优化方法：

梯度下降法是一种迭代算法．选取适当的初值x(0)x(0)，不断迭代，更新x的值，进行目标函数的极小化，直到收敛．由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新x的值，从而达到减少函数值的目的。
用这个方法，参数在每个数据点上同时进行了移动，迭代了参数𝜃，因此被称为批梯度下降法。
𝜃=𝜃+𝛼(𝑦(𝑖)−𝑓𝜃(𝑥)(𝑖))𝑥(𝑖)
这个算法成为随机梯度下降法，随机梯度下降法的好处是，当数据点很多时，运行效率更高；缺点是，因为每次只针对一个样本更新参数，未必找到最快路径达到最优值，甚至有时候会出现参数在最小值附近徘徊而不是立即收敛。但当数据量很大的时候，随机梯度下降法经常优于批梯度下降法。

牛顿法

牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法，有收敛速度快的优点．牛顿法是迭代算法，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算比较复杂

线性回归的评价指标

MAE(Mean Absolute Error) 平均绝对误差
MSE(Mean Square Error) 平均平方差/均方误差是回归任务最常用的性能度量。
RMSE(Root Mean Square Error) 方均根差。