wydbyxr的博客

排序：
默认
按更新时间
按访问量
RSS订阅

原 写在最前面

这些资料都是本人近两年收录的，当时全供自己备忘，而今想着回顾一遍就索性整理成博客了。内容很杂乱，有些要点也不全面、深入，请各位见谅。 另外，当时也未上心，只是埋头记录要点，没有记录出处，所以其中可能涉及到他人的劳动成果，如有发现请各位指出原文，必当改正。 ...

2018-12-07 10:07:19

阅读数：47

评论数：0

原 提供资讯的公众号

信息时代，信息的获取难度已经大大降低，而筛选高质量信息的能力越来越重要。 下面按照个人的阅读优先级排序，列一列值得关注的资讯源： 雷锋网（https://www.leiphone.com/category/ai） engadget：每周一会有上周回复精选，值得一看（https://cn.enga...

2018-12-10 10:40:59

阅读数：38

评论数：0

原 训练过程--Batchsize（先不整理了，总之一般情况下batchsize能设多大就设多大）

尽可能地设大batchsize "Large Batch Large Batch在 keypoints上也是有用的，大概能提到0.4到0.3的点的AP。" 在利用 ImageNet 训练 AlexNet 模型时，其中每 GPU 的最优批量大小为 512。如果我们...

2018-12-06 15:15:58

阅读数：81

评论数：0

原 训练过程--正则化(regularization)技巧(包括L2正则化、dropout，数据增广，早停)

正则化（regularization）   正则化是解决高方差问题的重要方案之一，也是Reducing Overfiltering（克服过拟合）的方法。   过拟合一直是DeepLearning的大敌，它会导致训练集的error rate非常小，而测试集的error rate大部分时候很大。网络的...

2018-12-06 14:30:35

阅读数：29

评论数：0

原 训练过程--对loss和acc的分析、处理

  计算loss是会把所有loss层的loss相加。 从验证集误差是和测试集误差的角度分析   其实你这个问题就是个伪命题，如果我们刻意的去在训练集上拟合模型，使其准确率达到很高的高度，或者说尽量在验证集合上表现的好，都是相悖的。   因为我们不能为了某一特定数据集来刻意拟合，因为模型预测数据是不...

2018-12-06 14:10:33

阅读数：29

评论数：0

原 训练过程--BN和RELU的trick

  ReLU对于0的输出的梯度为0， 所以一旦陷入了0输出， 就没法恢复了。   过小的 feature_size/kernel_size的比值会造成BN的统计值不稳定；kernel_dim 过小的时候， 加ReLU 容易使得整个kernel退化成空白。   BN在最后的时候会fix，然后再训练5...

2018-12-06 13:33:47

阅读数：16

评论数：0

原 训练过程--无监督的预训练

无监督的、逐层的预训练   作者认为，无监督预训练可以为参数，提供先验（prior or regularizer），而且这种先验分布或者说是正则化，与传统的形式不同，它没有显示的正则化项，并且是依赖于数据自动发现。   正则化带来的效用会随着模型的复杂性的增大而增大。   但是实验结果显示，这个效...

2018-12-06 10:58:12

阅读数：19

评论数：0

转 训练过程--测试时增强（test time augmentation, TTA）

  可将准确率提高若干个百分点，它就是测试时增强（test time augmentation, TTA）。这里会为原始图像造出多个不同版本，包括不同区域裁剪和更改缩放程度等，并将它们输入到模型中；然后对多个版本进行计算得到平均输出，作为图像的最终输出分数。   有作弊的嫌疑。   这种技术很有效...

2018-12-06 10:56:46

阅读数：37

评论数：0

原 NN模型设置--反卷积层的参数设置

  将反卷积层的学习率设为0，upsample的方式就是默认的双线性插值，当然也可以设置学习率不为0，让反卷积层自己学习参数（听说：学习率不为0，能让网络的效果有略微提升）。   转置卷积层的stride最好别设置为和kernal相等，最好小一些，比如1/2；   如果遇到了上图的马赛克现象，...

2018-12-06 10:53:50

阅读数：19

评论数：0

原 训练过程--渐进式调整大小、动态批量大小

渐进式调整大小   有一种很简单有效的方法，经常用来处理过拟合效应和提高准确性，它就是训练小尺寸图像，然后增大尺寸并再次训练相同模型。   最初减少训练图像大小使得卷积神经网络训练更有效地进行图像识别任务，逐步增加图片的大小可以加快训练速度。   参考论文：《Testing the Efficie...

2018-12-05 14:18:16

阅读数：18

评论数：0

原 训练过程--首层的可视化分析

  注意，是首层的可视化   如果神经网络是用在图像相关的问题上，那么把首层的特征和数据画出来(可视化)可以帮助我们了解训练是否正常 例子   上图的左右是一个正常和不正常情况下首层特征的可视化对比。左边的图中特征噪点较多，图像很『浑浊』，预示着可能训练处于『病态』过程：也许是学习率设定不正常，...

2018-12-05 14:11:57

阅读数：13

评论数：0

原 训练过程--GPU训练

分布式训练   当前最优的分布式训练方式是通过参数服务器（Parameter Server）执行的同步随机梯度下降算法（SGD）。   这是一种简单的分布式算法，其中存在一组节点，每个节点都拥有经过训练的神经网络的一个版本。这些节点通过一个服务器共享梯度和权重等信息。当试图扩展节点数量时，问题...

2018-12-05 14:09:23

阅读数：18

评论数：0

原 训练过程--对付梯度弥散/梯度消失

All you need is a good init. If you can’t find the good init, use Batch Normalization.

2018-12-05 13:51:12

阅读数：19

评论数：0

原 训练过程--关于训练数据与标签的trick

问题   神经网络很容易被对抗样本戏弄。一个金鱼图片本来可以分类正确。但是，如果我们加入中间图片的噪音模式，则分类器认为这是一张雏菊的图片。 解决   显然，多扫视后投票和无监督预训练的策略都不能解决这个漏洞。   使用高度正则化会有所帮助，但会影响判断不含噪声图像的准确性。   Ian...

2018-12-05 13:49:55

阅读数：18

评论数：0

原 数据预处理--数据集处理

选择训练集/开发集/测试集大小   之前，我只知道较普遍的 60/20/20 分隔。   但对于一个非常大的数据集，应该使用 98/1/1 甚至 99/0.5/0.5 的分隔。这是因为开发集合测试集只要足够大能保证模型处于团队设定的置信区间即可。如果你使用 1 千万个训练样本，那么 10 万样本（...

2018-12-05 13:45:16

阅读数：11

评论数：0

原 训练过程--学习率与权重衰减

学习率   主要是两个方面：学习率的初始化和学习率的更新   梯度更新的步长就是学习率 学习率初始化   1）ReLu的线性不饱和激活端着相对于Tanh的双饱和端（经验规则0.1），肯定要降量级。   2）b的学习率一般为w的两倍；   例如Caffe和Alex给的Model基础都是0...

2018-12-05 11:22:02

阅读数：24

评论数：0

原 训练过程--梯度下降算法（SGD、adam等）

SGD系列 1）Batch gradient descent(批量梯度下降)   在整个数据集上   每更新一次权重，要遍历所有的样本，由于样本集过大，无法保存在内存中，无法线上更新模型。对于损失函数的凸曲面，可以收敛到全局最小值，对于非凸曲面，收敛到局部最小值。   随机梯度下降（SGD）和批量...

2018-12-05 10:43:25

阅读数：15

评论数：0

转 训练过程--fineturn微调

何时微调模型   一般来说，如果我们的数据集在上下文中与预训练模型的训练数据集没有明显不同，我们应该进行微调。像 ImageNet 这样大而多样的数据集上的预训练网络，在网络前几层可以捕获到像曲线和边缘这类通用特征，这些特征对于大多数分类问题都是相关且有用的。   当然，如果我们的数据集代表一些非...

2018-12-05 10:04:45

阅读数：7

评论数：0

转 训练过程--训练过程的指导性大纲

训练技巧 1：准备数据：务必保证有大量、高质量并且带有干净标签的数据，没有如此的数据，学习是不可能的 2：预处理：这个不多说，就是0均值和1方差化 3：minibatch：建议值128,1最好，但是效率不高，但是千万不要用过大的数值，否则很容易过拟合 ...

2018-12-05 09:53:09

阅读数：16

评论数：0

原 NN模型设置--设计新的layer或op

  关键是反向传播的实现！   如果你手动实现了反向传播算法但是它不起作用，那么有99%的可能是梯度计算中存在Bug。那么就用梯度检测来定位问题。   主要思想是运用梯度的定义：如果我们稍微增加某个权重值，模型的误差将会改变多少。   参考资料：   http://ufldl.stanford.e...

2018-12-04 10:47:23

阅读数：30

评论数：0

提示
确定要删除当前文章？
取消 删除
关闭
关闭