kking_edc的博客

下图中，蓝色的曲线是y=0时变换预测值y’所形成的损失函数，绿色的是似然函数，即e−l2e^{-l^2}e−l2，这是一个高斯分布。橙色的线表示的是损失函数的梯度，这个梯度是一个一次函数，穿过原点。...

自动求导的代码实现：由于pytorch会累积梯度，因此在进行下一步计算时要先将梯度归零：当y不是一个标量时，梯度应该是一个矩阵（但是在深度学习中，我们很少对一个向量求导，所以绝大部分情况下我们会做一步求和）：...

首先考虑标量对向量求导（这里向量是列向量），求导的结果是一个行向量（如上图所示），这个行向量（即梯度）是一个方向，与等高线正交。这里⟨u,v⟩\langle u,v\rangle⟨u,v⟩表示向量内积。如果分子是列向量，那么列向量对标量求导的结果仍然是一个列向量。如果分子分母都是向量，那么最终的求导结果是一个矩阵。如下是矩阵对矩阵求导的一些示例：将输入拓展到矩阵，如下所示：...

这里clone是创建了新内存。

将远端jupyter notebook映射到本地 12:20