Pytorch学习笔记
李沐机器学习课程 Pytorch笔记 自用
小姚今天有好好学习嘛
啊,学不进去,好摆烂啊
展开
-
Softmax回归及损失函数(李沐深度学习课程、自用)
回归预测连续值,分类预测离散值分类多个输出,第i个输出代表第i类的置信度。在分类中,希望能尽可能地使正确类别的置信度远大于其它类别。同时我们可以将输出置信度转换到一个区间内(置信度的相对大小有意义,绝对大小无意义)。因此考虑将置信度转换为概率,满足两条件,非负以及小于等于1。转换的方法使用交叉熵求导时,平方项和1/2抵消。离最优解越远,梯度越大,可能会导致不稳定。在离最优解较远时,梯度并不会很大,优化过程较稳定。但是在优化末期可能不稳定。结合了前两者损失各自的优点。在优化早期梯度值不变,优化末期梯度逐渐减小原创 2022-06-08 10:59:46 · 528 阅读 · 0 评论 -
线性回归和基础优化算法(李沐深度学习课程,自用)
平方损失定义:前有一个1/2是因为在求导时可以消去。线性回归可以看作是单层的神经网络模型。原创 2022-06-02 15:22:29 · 112 阅读 · 0 评论 -
Pytorch基础操作及线性回归实现(李沐课程整理,自用)
torch.arange(x)生成从1至x的一个张量。原创 2022-05-15 16:17:44 · 689 阅读 · 0 评论