机器学习 - 回归 线性回归 Linear Regression（学习笔记）

什么是回归？

“回归”一词最早由英国科学家弗朗西斯·高尔顿提出。1875 年，高尔顿利用子代豌豆与父代豌来确定豌豆尺寸的遗传规律。实验的大意是说：非常矮小的的父辈倾向于有偏高的子代，非常高大的的父辈倾向于有偏矮的子代。这表明子代的身高向着父辈身高的平均值回退，后来人们把这种研究方法称为“回归预测”。

线性回归是什么？

线性回归是预测连续值的问题。基于样本数据拟合出一个可以预测数值的模型，从而实现了回归。利用线性模型来解决“回归问题”，那到底什么是回归问题呢？可以把它理解为“预测”真实值的过程。最简单的线性回归模型是我们所熟知的一次函数（即 y=kx+b），k代表权值参数，b 指的是偏差值。

假设函数

Y1代表预测结果， X1表示数据样本， b表示用来调整预测结果的“偏差度量值”，而wT表示权值系数的转置。矩阵相乘法是一个求两个向量点积的过程，也就是按位相乘，然后求和 。

损失函数

损失函数的返回值越大就表示预测结果与真实值偏差越大。在线性方程中，要更加复杂、严谨一些，因此我们采用数学中的“均方误差”公式来计算单样本误差：