- 博客(10)
- 收藏
- 关注
原创 group normalization 论文阅读笔记
10 Group Normalization Motivation i.e. BN’s drawbacks 1)过小的batch size会使得BN的错误率上升: batch size很小的时候,batch数据的均值和方差的代表性会比较差,统计信息的准确性较差,这时候再去做归一化的话对精度影响较大。 在某些任务中,例如object detection and segmentation、视频相关的任务中,内存大小负担不起太大的batch size(往往只有1-2),这时候使用BN的效果不好。 2)训练和测试
2021-10-22 08:15:41
1177
1
原创 Instance normalization 论文阅读笔记
09 IN: The Missing Ingredient for Fast Stylization 主要应用于风格迁移 风格迁移的历程 Gatys: 使用Gram矩阵作为风格的数学表示,图片的style可以表示为特征图上的Gram矩阵 G[i,j]=∑xh∑ywFi[x,y]∗Fj[x,y] G[i,j]=\sum_{x}^{h}\sum_{y}^{w}{F_i[x,y]*F_j[x,y]} G[i,j]=x∑hy∑wFi[x,y]∗Fj[x,y] 其中i和j是channel的下表,x和y是空间坐
2021-10-22 08:14:38
809
原创 batch normalization 论文阅读笔记
08 BN: Accelerating Deep Network Training by Reducing Internal Covariate Shift 对于deepNN的训练为什么复杂: 一旦之前的层的参数变了,这一层的输入的分布就会发生变化(可能很显著),这样就需要降低learning rate以及仔细的参数初始化。当整体分布逐渐往非线性函数的取值区间的饱和部分逼近时,反向传播的梯度可能消失收敛很慢 以上的现象称为internal covariate shift(在深层网络训练的过程中,由于网络
2021-10-22 08:13:01
172
原创 EfficientNet 论文阅读笔记
07 EfficientNet: Rethinking Model Scaling for CNNs SiLU activation CNNs:通常是在给定的资源预算下进行改进,然后当拥有更多资源之后,再进行扩大规模。 本文:要提高性能,三种维度的扩大都很重要——>怎么扩大呢(propose a principled method) Introduction 提升准确度的方法:扩大CNN的规模。比如扩大深度、宽度以及图片分辨率 之前的很多工作,一般都是挑一个方面来进行扩大。虽然也可以同时扩大其中的两到
2021-10-22 08:09:16
1248
原创 DenseNet 论文阅读笔记
05 Densely Connected Convolutional Networks Motivation 如果有shortcut:CNN可以更深、更准确、更好训练 DenseNet:将每一层都连接起来。connects each layer to every other layer in a feed-forward fashion advantage: 1)减缓梯度消失问题 2)加强特征传播 3)特征重用 4)大大减少参数量 当CNN变得越来越深:当关于输入或梯度的信息传过太多层之后,
2021-10-22 08:03:14
298
原创 ResNet 论文阅读笔记
04 Deep Residual Learning for Image Recognition Motivation: 之前:层数增加,效果越好 问题:学习更好的网络,是否就是堆叠更多的层数?或者说,学习更好的网络是否就跟堆叠更多的层数一样简单? 阻碍:梯度消失/梯度爆炸,妨碍了训练的收敛 解决:normalized initialization and intermediate normalization layers 使模型收敛地更快 阻碍2: degradation problem 随着网络变深,正确
2021-10-22 08:01:00
131
原创 GoogLeNet 论文阅读笔记
03 Going Deeper With Convolutions 深度学习的发展,不仅仅在于算力的提升和数据集的扩大,更在于新的结构的设计和提出 现在的一个问题是,仅仅在现有的架构上增加层数的话,其实对于硬件的要求很高,要求高内存高算力,其实是不利于落地应用的。所以这篇文章不仅仅是关注性能的提升,还会同时兼顾模型的运算量,这样才能更好地让模型被实际应用 怎么获得更好的训练效果?一种是增加层数,但是增加层数带来的副作用很多(overfit,梯度消失)。inception的提升思路是,高效利用计算资源,在相
2021-10-19 16:16:51
493
原创 VGG论文阅读笔记
02 Very Deep Convolutional Networks For Large-Scale Image Recognition 跟AlexNet比有什么不一样:层数更深了,卷积核更小(3*3和1*1)(stride=1),层的width更小(也就是channel、卷积核的数目更少) 还是使用了ReLU,但是没有用LRN局部响应归一化(性能没有提升而且增大了计算量) 跟googleNet相比,都采用了很大的深度,而且卷积核都比较小 用的卷积核感受野更小有什么好处? 1)3个使用3*3的卷积核的层,
2021-10-19 16:02:48
135
原创 AlexNet 论文阅读笔记
ImageNet Classification with Deep Convolutional Neural Networks 为什么LeNet被提出后没有收到太多重视,但是AlexNet被提出之后就被关注?或者说,AlexNet好在哪里? 数据量的增长:AlexNet的数据量是以million为单位的 ReLU修正线性单元的应用 GPU的出现加快了训练速度 Dropout:有效防止过拟合 Introduction 在object recognition(目标识别)上,机器学习算法表现得不好
2021-10-19 15:56:18
174
原创 Primes is in P 阅读笔记
在阅读文章的时候综合一些其它资料做的学习笔记,基本上把所有的引理、定理之类的都展开证明了一下,希望可以帮到以后需要阅读这篇论文的人吧。
2020-05-24 17:12:06
1200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人