![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习基础知识
文章平均质量分 95
深度学习基础知识扫盲笔记
草莓酱土司
喂,柚子吗?我是草莓呀!
展开
-
直观理解常用的优化器:SGD,AdaGrad, Adam
直观理解梯度下降算法及其改进算法:动量法,AdaGrad, Adam.原创 2022-12-07 20:54:49 · 2410 阅读 · 1 评论 -
深入理解CV中的Attention机制之PAN
Pyramid Attention Network for Semantic Segmentation 阅读笔记原创 2022-02-14 21:49:47 · 2917 阅读 · 0 评论 -
深入理解CV中的Attention机制之CBAM
注意力模块 CBAM 详解原创 2022-02-12 14:17:16 · 4774 阅读 · 0 评论 -
深入理解CV中的Attention机制之SE模块
CV中的Attention机制汇总一、Squeeze-and-Excitation Networks11. 摘要In this work, we focus instead on the channel relationship and propose a novel architectural unit, which we term the “Squeeze-and-Excitation”(SE) block,that adaptively recalibrates(重新校准)channel-wi原创 2022-02-11 22:59:40 · 6585 阅读 · 1 评论 -
辨析梯度下降
梯度下降是最为常用的深度学习模型优化算法。本文对经典的梯度下降、随机梯度下降、批量随机梯度下降进行分别解释,帮助区分三者之间的关系。最后以线性回归为例,根据模型优化结果分析了三者的特点。原创 2021-12-29 22:20:52 · 1276 阅读 · 0 评论 -
深入理解交叉熵损失函数
前言本文参照torch.nn.CrossEntropyLoss()说明文档1,从原理和实现细节上对交叉熵损失进行深入理解。一、交叉熵1.1 交叉熵的定义假设X是离散型随机变量,p(x)、q(x)p(x)、q(x)p(x)、q(x)为X的两个概率分布,交叉熵的定义如下:H(q,p)=−∑xq(x)log p(x)H(q,p)=-\sum_xq(x)log\ p(x)H(q,p)=−x∑q(x)log p(x)交叉熵可以用来衡量两分布之间的相似程度。 交叉熵越小,p、qp、原创 2021-12-22 22:28:18 · 2091 阅读 · 1 评论 -
深入理解softmax
前言本文代码基于Pytorch实现。一、softmax的定义及代码实现1.1 定义softmax(xi)=exp(xi)∑jnexp(xj)softmax(x_i) = \frac{exp(x_i)}{\sum_j^nexp(x_j)}softmax(xi)=∑jnexp(xj)exp(xi)1.2 代码实现def softmax(X): ''' 实现softmax 输入X的形状为[样本个数,输出向量维度] ''' return torc原创 2021-12-22 17:26:29 · 2817 阅读 · 2 评论