线性回归（Linear Regression，LR）

问题描述

线性回归的目标是针对一组特征和结果的数据集，找到特征与结果之间的线性关系；该方法的有个假设是数据集的输入与结果存在线性关系。

数学抽象

输入：数据的输入X={x1,x2,...,xn}，其中xi是具有d个特征的列向量，结果集y={y1,y2,...,yn}，其中yi是输入xi对应的结果。

目标：构建目标函数，其中是一个1*d的行向量。可以理解为由一个1*d和d*1的矩阵相乘，得到一个数值（1*1的矩阵）这样就是该回归函数得到的误差。为了更好地适应该数据的线性函数，最小化误差，其中误差使用平方误差，因为线性回归有个合理的假设：该数据集中的噪音是服从均值为0的高斯分布。所以线性回归的目标是最小化目标函数。

求解方法

         目标函数是个凸函数（convex function，二阶导数非负），基本的方法有最小二乘法、梯度下降和牛顿方法。