回归模型的建立过程

• 假设回归模型为：$y=f(X|\theta)$
  
  • 如在现行回归中：$f(X|W)=W^TX$,模型参数为W（线性组合权重）
• 训练：根据训练数据$\mathcal{D}\{X_i,y_i\}_{i=1}^{N}$学习映射$f$(模型参数)
• 预测：对新的测试数据X进行预测：$\hat{y}=f(X)$ (带帽表示预测值)
• 学习目标：使训练集上预测值与真值之间的差异最小
  
  • 损失函数：度量模型预测值与真实值之间的差异，如：
    $$L(f(X),y)=\frac{1}{2}(f(x)-y)^2$$
  • 则目标函数为：
    $$J(\theta)=\frac{1}{N}\sum_{i=1}^{N}L(f(x_i|\theta),y_i)$$