- 博客(2)
- 收藏
- 关注
RSS订阅原创 我室友打了两把csgo就搞懂了梯度，梯度下降，随机梯度下降(SGD)，动量法，ADAM
文章目录梯度梯度下降随机梯度下降随机梯度法缺点动量法ADAMADAM优点总结梯度一个多元函数的梯度方向是该函数值增大最陡的方向。具体化到1元函数中时，梯度方向首先是沿着曲线的切线的，然后取切线向上增长的方向为梯度方向，2元或者多元函数中，梯度向量为函数值f对每个变量的导数，该向量的方向就是梯度的方向，当然向量的大小也就是梯度的大小。比如说如果损失函数是一个二次函数那么最低点就是箭头指向部分也就是f’(x)=0的地方，无论从哪开始都能找到函数最低点。而真实的损失函数更像一个崎岖的山坡以下图片来源
2022-01-05 00:19:12
2587
3
原创 史上最全交叉熵损失函数详解
在我们自学神经网络神经网络的损失函数的时候会发现有一个思路就是交叉熵损失函数，交叉熵的概念源于信息论，一般用来求目标与预测值之间的差距。比如说我们在人脑中有一个模型，在神经网络中还有一个模型，我们需要找到神经网络模型跟人脑模型最相近的那一个，那就需要找到一个方法需要定量的去看待两个模型的差异。文章目录一、交叉熵是什么？二、熵是什么？三、信息量是什么？总结一、交叉熵是什么？交叉熵其实就是运用了熵的概念先把模型转化为熵的数值然后用数值去比较模型之间的差异。那为什么要用熵？熵是指一个模型体系的混乱程度。
2022-01-02 17:52:32
9873
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人