Liiiii_Regina-CSDN博客

原创 group normalization 论文阅读笔记

10 Group Normalization Motivation i.e. BN’s drawbacks 1）过小的batch size会使得BN的错误率上升： batch size很小的时候，batch数据的均值和方差的代表性会比较差，统计信息的准确性较差，这时候再去做归一化的话对精度影响较大。在某些任务中，例如object detection and segmentation、视频相关的任务中，内存大小负担不起太大的batch size(往往只有1-2)，这时候使用BN的效果不好。 2）训练和测试

2021-10-22 08:15:41 1177 1

原创 Instance normalization 论文阅读笔记

09 IN: The Missing Ingredient for Fast Stylization 主要应用于风格迁移风格迁移的历程 Gatys：使用Gram矩阵作为风格的数学表示，图片的style可以表示为特征图上的Gram矩阵 G[i,j]=∑xh∑ywFi[x,y]∗Fj[x,y] G[i,j]=\sum_{x}^{h}\sum_{y}^{w}{F_i[x,y]*F_j[x,y]} G[i,j]=x∑hy∑wFi[x,y]∗Fj[x,y] 其中i和j是channel的下表，x和y是空间坐

2021-10-22 08:14:38 809

原创 batch normalization 论文阅读笔记

08 BN: Accelerating Deep Network Training by Reducing Internal Covariate Shift 对于deepNN的训练为什么复杂：一旦之前的层的参数变了，这一层的输入的分布就会发生变化（可能很显著），这样就需要降低learning rate以及仔细的参数初始化。当整体分布逐渐往非线性函数的取值区间的饱和部分逼近时，反向传播的梯度可能消失收敛很慢以上的现象称为internal covariate shift（在深层网络训练的过程中，由于网络

2021-10-22 08:13:01 172

原创 EfficientNet 论文阅读笔记

07 EfficientNet: Rethinking Model Scaling for CNNs SiLU activation CNNs：通常是在给定的资源预算下进行改进，然后当拥有更多资源之后，再进行扩大规模。本文：要提高性能，三种维度的扩大都很重要——>怎么扩大呢（propose a principled method） Introduction 提升准确度的方法：扩大CNN的规模。比如扩大深度、宽度以及图片分辨率之前的很多工作，一般都是挑一个方面来进行扩大。虽然也可以同时扩大其中的两到

2021-10-22 08:09:16 1248

原创 DenseNet 论文阅读笔记

05 Densely Connected Convolutional Networks Motivation 如果有shortcut：CNN可以更深、更准确、更好训练 DenseNet：将每一层都连接起来。connects each layer to every other layer in a feed-forward fashion advantage: 1）减缓梯度消失问题 2）加强特征传播 3）特征重用 4）大大减少参数量当CNN变得越来越深：当关于输入或梯度的信息传过太多层之后，

2021-10-22 08:03:14 298

原创 ResNet 论文阅读笔记

04 Deep Residual Learning for Image Recognition Motivation：之前：层数增加，效果越好问题：学习更好的网络，是否就是堆叠更多的层数？或者说，学习更好的网络是否就跟堆叠更多的层数一样简单？阻碍：梯度消失/梯度爆炸，妨碍了训练的收敛解决：normalized initialization and intermediate normalization layers 使模型收敛地更快阻碍2: degradation problem 随着网络变深，正确

2021-10-22 08:01:00 131

原创 GoogLeNet 论文阅读笔记

03 Going Deeper With Convolutions 深度学习的发展，不仅仅在于算力的提升和数据集的扩大，更在于新的结构的设计和提出现在的一个问题是，仅仅在现有的架构上增加层数的话，其实对于硬件的要求很高，要求高内存高算力，其实是不利于落地应用的。所以这篇文章不仅仅是关注性能的提升，还会同时兼顾模型的运算量，这样才能更好地让模型被实际应用怎么获得更好的训练效果？一种是增加层数，但是增加层数带来的副作用很多（overfit，梯度消失）。inception的提升思路是，高效利用计算资源，在相

2021-10-19 16:16:51 493

原创 VGG论文阅读笔记

02 Very Deep Convolutional Networks For Large-Scale Image Recognition 跟AlexNet比有什么不一样：层数更深了，卷积核更小（3*3和1*1）（stride=1），层的width更小（也就是channel、卷积核的数目更少）还是使用了ReLU，但是没有用LRN局部响应归一化（性能没有提升而且增大了计算量）跟googleNet相比，都采用了很大的深度，而且卷积核都比较小用的卷积核感受野更小有什么好处？ 1）3个使用3*3的卷积核的层，

2021-10-19 16:02:48 135

原创 AlexNet 论文阅读笔记

ImageNet Classification with Deep Convolutional Neural Networks 为什么LeNet被提出后没有收到太多重视，但是AlexNet被提出之后就被关注？或者说，AlexNet好在哪里？数据量的增长：AlexNet的数据量是以million为单位的 ReLU修正线性单元的应用 GPU的出现加快了训练速度 Dropout：有效防止过拟合 Introduction 在object recognition（目标识别）上，机器学习算法表现得不好

2021-10-19 15:56:18 174

原创 Primes is in P 阅读笔记

在阅读文章的时候综合一些其它资料做的学习笔记，基本上把所有的引理、定理之类的都展开证明了一下，希望可以帮到以后需要阅读这篇论文的人吧。

2020-05-24 17:12:06 1200

qq_43488473的博客