深度学习——回归算法Regression

同样是监督算法，回归是求解连续值的相关关系，分类是对离散值的划分。

图1
如图1，我们想要模拟离散点的走势。

一、一元线性回归
一元线性回归就是假设拟合曲线是一条直线，现在求解这条直线方程。
假设

那么如何使得这条曲线拟合，那么就要提出均方误差

二、均方误差
均方误差就是用二次方来衡量真实值和预测值直接的距离，然后再在所有样本上取平均。
公式如下：

为什么是均方误差？
基本假设

• g(x)是f(x)的估计
• r’ = g(x) + ε
• 假设 ε 服从均值为0，方差为σ^2的高斯分布
• 那么显然的g(x) + ε 满足均值为g(x)，方差为σ^2的高斯分布

极大似然估计

• 对于估计值的参数值，即求在r’发生的情况下，x的最大似然估计
• 计算样本集上的似然函数
  
• b部分为常数，不影响最大值点
• 因为p(r|x) ~ N(g(x),σ^2)，所以
  
• 化简出的式子中A为常数，那么最后最大化 L 意味着最大化B部分，也就是最小化 -B，也就是均方误差。
• 如果分布不再是高斯分布，那么均方误差不再管用

三、多元线性回归
表达式的y仍然是一维，而x变成多维

• 矩阵表示
  
• 然后把x，y都用矩阵表示
  
• Loss损失值也要矩阵表示
  
• 求解Loss的方式如下：
  
  由于矩阵表示将w和b放一起，因此只需要写一个十式子。
• 对w的求解结果即：
  
  可见式子中需要求逆矩阵ÿ