深度学习与PyTorch笔记3

简单回归案例

梯度下降算法

迭代，求导，算极值。
$$x^{\prime }=x-x^{\ast }\ast lr$$
$x^{\prime }$为新值，$x^{\ast }$为梯度（导数），$lr$为学习率，设小一点，慢慢的逼近最优解。
梯度下降的求解器,加了约束，导致求解过程变得更快，最优解的精度变高，目前用的最多的有原始版本的sgd，还有rmsprop，以及最常用的Adam。
$$y=w\ast x+b$$
$1.567=w\ast 1+b$
$3.043=w\ast 2+b$

$w=1.477$
$b=0.089$
实际工作中，只能求得最接近$y$的$w\ast x+b$。
有高斯噪声时，
$$y=w\ast x+b+\epsilon$$ $\epsilon \in \mathbb{N}(0.01,1)$
求解
$$loss=(WX+b-y{)}^2$$
$W$、$X$均为矩阵。$loss$函数为我们构造的优化目标。
求得合适的$W$和$b$使$loss$值最小,预估$x_N$、$y_N$。
$$loss=\sum _i(w\ast x_i+b-y_i{)}^2$$