- 博客(18)
- 收藏
- 关注
RSS订阅原创 深度学习之自然梯度法和线性判别分析
若度量模型参数变化引起的概率分布变化，常用的“距离”度量是KL散度（Kullback-Leibler divergence）。设模型概率分布为px;θp(x;\theta)px;θDKLpx;θ∣∣px;θδθ∫px;θlogpx;θpx;DKLpx;θ∣∣px;θδθ))∫px;θlogpx;θδθpx;θdx。
2024-05-16 15:48:05
1128
原创 深度学习基础之梯度下降
1 梯度下降1.1 机器学习中为什么需要梯度下降梯度下降是机器学习中常见优化算法之一，梯度下降法有以下几个作用：（1）梯度下降是迭代法的一种，可以用于求解最小二乘问题。（2）在求解机器学习算法的模型参数，即无约束优化问题时，主要有梯度下降法（Gradient Descent）和最小二乘法。（3）在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。（4）如果我们需要求解损失函数的最大值，可通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换。（5）
2024-05-16 15:42:53
596
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人