![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CNN基础
文章平均质量分 89
Kindle君
这个作者很懒,什么都没留下…
展开
-
【CNN基础】局部响应归一化、gated convolution和gated deconv
1. Local response normalization(局部响应归一化)局部响应归一化,由于做了平滑处理,可以增加泛化能力,公式如下bx,yi=ax,yi/(bias+α∑j=max(0,i−n/2)min(N−1,i+n/2)(ax,yi)2)b_{x,y}^i = a_{x,y}^i/\left( {bias + \alpha \sum\limits_{j = \max (0...原创 2019-03-07 11:28:42 · 12595 阅读 · 5 评论 -
【CNN基础】常见的loss函数及其实现(一)——TV Loss
本文主要关注潜在有效的,值得炼丹的Loss函数:TV lossTotal Variation loss在图像复原过程中,图像上的一点点噪声可能就会对复原的结果产生非常大的影响,因为很多复原算法都会放大噪声。这时候我们就需要在最优化问题的模型中添加一些正则项来保持图像的光滑性,TV是常用的一种正则项。图片中相邻像素值的差异可以通过降低TV loss来一定程度上解决。比如降噪,对抗chec...原创 2019-03-11 15:51:04 · 35204 阅读 · 5 评论 -
【CNN基础】Attention机制的梳理(一)——What is Attention in NLP?
Attention机制梳理(一)——What is Attention in NLP?Attention机制梳理(二)——How do Attention derive BERT?Attention机制梳理(三)——What is Attention in CV?文章目录〇、带着问题上路一、Dataset的理解二、Network的理解三、Regularization的理解(或Loss的理...原创 2019-04-16 22:10:19 · 2336 阅读 · 0 评论 -
Attention机制梳理(三)——What is Attention in CV?
现在NLP中很火的attention机制,其实早在14年Google-DeepMind的Compution Vision文章——Recurrent Models of Visual Attention中出现过了,15年的时候我曾做过一个ppt,介绍这篇文章,现在找不到了。这里我们通过重新梳理,希望能够搞清楚Attention的来龙去脉,有助于加深我们对Attention机制的理解。文章目...原创 2019-04-23 21:13:35 · 3699 阅读 · 0 评论