深度学习
SCU-JJkinging
加油,leego must be dai
展开
-
2021 CCF BDCI 全国信息检索挑战杯(CCIR-Cup) 智能人机交互自然语言理解
比赛网址:CCIR-Cup-智能人机交互自然语言理解. 大家好,我是SCU-JJkinging,这个比赛是前段时间偶然间看到的,发现和我的研究方向一致,就试着参加了,成绩还是比较乐观吧,最终成绩A榜第四,B榜第二。 下面把我的ppt贴一下,更详细的介绍以及代码原创 2021-11-09 13:15:24 · 492 阅读 · 1 评论 -
BERT详解——原理篇(组会PPT,其中大量参考李宏毅的bert课程视频)
原创 2021-04-06 17:21:32 · 2539 阅读 · 4 评论 -
Transformer模型详细解读
Transformer模型详解转载 2021-01-30 15:41:24 · 368 阅读 · 0 评论 -
深入理解注意力机制 Attention
注意力机制的基本思想和实现原理(一)注意力机制的基本思想和实现原理(二)转载 2021-01-29 10:57:02 · 253 阅读 · 1 评论 -
为什么一些深度学习的图像预处理使用mean=[0.485, 0.456, 0.406] and std=[0.229, 0.224, 0.225]来正则化?
Using the mean and std of Imagenet is a common practice. They are calculated based on millions of images. If you want to train from scratch on your own dataset, you can calculate the new mean and std. Otherwise, us原创 2020-08-12 20:28:43 · 2349 阅读 · 0 评论 -
两个高斯分布之间的KL散度
KL(N(μ,σ)∣∣N(0,1))KL(N(\mu, \sigma)||N(0, 1))KL(N(μ,σ)∣∣N(0,1)) = 12(−logσ2+μ2+σ2−1)\frac{1}{2}(-log\sigma^2 + \mu^2 + \sigma^2 - 1)21(−logσ2+μ2+σ2−1)参考链接:两个多变量高斯分布之间的KL散度原创 2020-08-10 16:24:58 · 3141 阅读 · 0 评论 -
BN、LN、IN、GN的区别
一、Batch Normalization 卷积神经网络的出现,网络参数量大大减低,使得几十层的深层网络成为可能。然而,在残差网络出现之前,网络的加深使得网络训练变得非常不稳定,甚至出现网络长时间不更新甚至不收敛的现象,同时网络对超参数比较敏感,超参数的微量扰动也会导致网络的训练轨迹完全改变。 2015年,Google研究人员SergeyIo原创 2020-07-24 15:53:09 · 3835 阅读 · 3 评论 -
Pytorch autograd、backward详解
https://www.cnblogs.com/marsggbo/p/11549631.html转载 2020-07-21 15:15:54 · 168 阅读 · 0 评论 -
WGAN两篇论文的中文详细介绍
作者:郑华滨链接:https://zhuanlan.zhihu.com/p/25071913来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 在GAN的相关研究如火如荼甚至可以说是泛滥的今天,一篇新鲜出炉的arXiv论文《Wassertein GAN》却在Reddit的Machine L...转载 2020-07-20 16:56:28 · 2230 阅读 · 0 评论 -
Pytorch中使用tensorboard可视化不显示的问题
Pytorch中使用tensorboard可视化不显示的问题问题来源解决问题来源最近刚学习pytorch,看官方文档学习到了tensorboard可视化,但是照着代码写却不能得到图片显示from torch.utils.tensorboard import SummaryWriter# default `log_dir` is "runs" - we'll be more specific herewriter = SummaryWriter('runs/fashion_mnist_experim原创 2020-07-15 11:36:15 · 4098 阅读 · 1 评论