只想下课-CSDN博客

原创李沐深度学习-03-线性回归与线性回归从零实现(较难)

1.梯度下降算法，注意两个参数即偏导值(沿梯度方向)和学习率(学习率即每次沿着梯度走多远，即步长，不可过大或者过小，学习率过大会导致震荡，过小会导致震荡)，多次迭代直至收敛(可以画图来看)2.小批量随机梯度下降（深度学习默认的求解方法）：通常使用这种方法的原因是在整个训练集（较大）上算梯度太贵，我们可以随机采样b个样本，来估算近似损失，b不可以过大或者过小。线性回归可以看成单层神经网络，是唯一有最优解的模型(具有显示解)，因为其损失函数为凸函数。

2024-01-27 18:46:29 338

原创李沐深度学习-02-线性代数实现与矩阵运算

矩阵求导公式的数学推导（矩阵求导——基础篇）：https://zhuanlan.zhihu.com/p/273729929。矩阵求导公式的数学推导（矩阵求导——进阶篇）：https://zhuanlan.zhihu.com/p/288541909。向量和标量混合求导，求出来依然是向量，向量关于向量求导较为复杂，求取出来为一个矩阵。求导理论（不太懂）

2024-01-27 14:40:59 196