深度学习基础（二）：Regression

什么是Regression

Regression 就是找到一个函数 function，通过输入特征 x ，输出一个数值 Scalar 。与其他任务不同的是输出一个数值

步骤

• Step1：Model
• Step2：Goodness of Function（确定评价函数，目的寻找最优function）
• Step3：Best function：gredient descent 梯度下降（求最小损失函数使用梯度下降，目的寻找最优参数）

优化方法

• 选择其他模型
• 考虑其他因素
• 正则化防止过拟合

error来源

bias（偏差）和variance（方差）

举例 线性模型

• Step1：假设model为
  $$y=b+w\ast x$$ 其中，$x$是输入，$y$是输出

• Step2：评价函数
  $$L(f)=L(w,b)$$ $L(f)$越小代表model效果越好

• Step3：梯度下降
  (1)只有一个参数$w$：
  随机选取$w_0$初值，计算初值时的微分
  $$\genfrac{}{}{0ex}{}{}{\mathrm{d}w}$$