监督学习和优化——线性回归
此为 斯坦福无监督特征学习和深度学习教程(ufldl)的学习笔记。
问题描述
我们的目标为从输入向量 x ∈ ℜ n x\in\Re^n x∈ℜn预测目标值 y y y。
以预测房价为例, y y y代表房价, x x x表示描述房子的特征向量(比如其大小和房间的数目)。假设给定大量的样本,其中 x ( i ) x^{(i)} x(i)代表第i个房子样本的特征, y ( i ) y^{(i)} y(i)代表第i个房子的价格。则我们的目标为找到一个函数 y = h ( x ) y = h(x) y=h(x),使得对每个训练样本都有 y ≈ h ( x ) y \approx h(x) y≈h(x)。若这个函数 h ( x ) h(x) h(x)拟合的足够好的话,那么当遇到新的样本 x x x时,该函数能够很好的预测房价。
首先,我们使用线性函数来表示 h ( x ) : h θ ( x ) = ∑ j θ j x j = θ ⊤ x h(x):h_\theta(x) = \sum_j\theta_j x_j = \mathbf{\theta}^\top x h(x):hθ(x)=∑j