GL3_24的博客

现象说明目标：二分类，训练过程中验证集准确率比较高。训练完成之后对测试集进行测试，测试结果中的类别全部为1(最后一类)。Caffe测试集分类结果相同，全部为最后一类原因及解决方案原因：没有对网络的第一个卷积层进行初始化。下图是原来网络第一个卷积层的参数。解决方案：将第一个卷积层权重初始化为“xavier”，偏置初始化为常量0。...

现象如图所示：原因：自己疏忽在train和test阶段的source全部设置成了mtrainldb(如下图所示)，造成数据锁死情况。修改test的source为即可。

现象我在训练googlenet网络的时候发现日志中一直提示Waiting for data。迭代之后还是一直提示。现象如下：解决方案很明显，问题就出来数据集做的不对。再三检查自己的数据集是否有问题。笔者的问题是，数据是原图大小，1280960。然后直接resize成227227就可以了。...

引言通常情况下，在深度学习中使用梯度下降算法进行训练时，往往需要较大的batch-size才能获得良好的性能。而当我们选择比较大型的网络时(如DenseNet121)，由于GPU资源有限，我们往往要减小batch-size。但是batch-size太小的话会影响性能，这时候如果硬件条件允许的情况下可以使用多GPU进行训练。...

最近发现了一篇文章，个人感觉很不错，因此推荐给大家。论文题目：Benchmark Analysis of Representative Deep Neural Network Architectures论文链接：https://arxiv.org/abs/1810.00736题目：代表性DNN架构的基准分析摘要：这项工作提供了对现有技术中提出的用于图像识别的大多数深度神经网络（DNN）的...

在深度学习中，我们需要根据自己的任务task制作自己的数据集，一些网络对于输入图像的格式往往是有要求的，例如YOLOv3要求图像格式为jpg。可能我们有的图像格式并不是我们想要的格式，例如需要jpg而我们有bmp，这时候就需要修改图像格式了。直接修改图像的后缀名(错误做法)可能有的人就会找批处理文件的软件直接修改图像的后缀名，当修改完成之后再拿来训练发现网络并不能跑起来，原因很简单，就是这样的...

输入图片的大小需要固定我们知道CNN输入图片的大小需要固定，但是这是为什么呢？其实在网络结构中卷积层是不需要固定图像的大小（它的输出大小是跟输入图像的大小相关的），一般情况下输入尺寸都会大于常用的卷积核大小。有固定输入图像大小需求的是全连接部分，全连接部分的参数的个数是需要固定的。解决方案当然可能我们的数据集的大小并不统一，这时候就需要进行处理了1.可以在输入网络之前进行resize，将...

ResNeXt：https://arxiv.org/pdf/1611.05431.pdfAbstractWe present a simple, highly modularized network architecture for image classification. Our network is constructed by repeating a building block th...

本篇博文主要是讨论为什么叫 bottleneck architecturebottleneck architecture翻译过来叫做瓶颈结构，瓶颈结构的特点是一头大一头小。这个是针对于网络结构中输入/输出的维度(dimensions)来讲的。来看一下Deep Residual Learning for Image Recognition(ResNet)论文当中的一部分。对应结构为下图。...

论文名称：Densely Connected Convolutional Networks（CVPR 2017, Best Paper Award）论文链接：https://arxiv.org/pdf/1608.06993.pdf源码链接：https://github.com/liuzhuang13/DenseNetcaffe版源码： https://github.com/liuzhuang...

现象：在caffe复现DenseNet的过程中，训练完成了，就到了测试阶段。当开始运行之后，过了一段时间发现报了一个错误。F0523 12:55:04.591845 17608 syncedmem.cpp:56] Check failed: error == cudaSuccess (2 vs. 0) out of memory。爆内存了。如图所示。分析一：batch_size一般这个问...

caffe训练日志文件中包含两个loss，一个是Iteration####, loss = ####；另一个是Train net output #0: loss = ####。如下图所示如果想要知道这两个loss的区别就需要找到输出该日志的代码。经查询可知，该部分的代码在solver.cpp中。template <typename Dtype>void Solver<...

batchsize：批处理大小。一次训练所选取的样本数。 它的大小影响模型的优化程度和速度。Iteration：迭代次数。一次Iteration就是batchsize个训练数据前向传播和反向传播后更新参数的过程。epoch：所有训练数据前向传播和反向传播后更新参数的过程。也就是我们认为的所有数据集跑了一遍。如果训练集大小时100000。batchsize为100，那么一个epoch需要100...

可以通过查看训练集误差和验证集误差，从而判断算法达到什么效果。通过衡量训练集和验证集的误差就可以得出不同结论。1.欠拟合：假定训练集误差是 15%，验证集误差是 16%。这样则说明算法并没有在训练集中得到很好的训练，如果训练集数据的拟合度不高，就是数据欠拟合，就可以说这种算法偏差比较高。也就是我们说的没有训练好。相反，它对于验证集产生的结果是合理的，验证集中的错误率只比训练集的多了 1%，所...

原文：https://arxiv.org/abs/1409.4842AbstractWe propose a deep convolutional neural network architecture codenamed Inception, which was responsible for setting the new state of the art for classificati...

今天训练了SE-ResNet，任务是二分类。训练训练完成后的loss曲线为：有曲线图可知，train_loss整体都在0.207左右，test_loss整体都在0.68-0.695之间。这样的loss曲线可以证明没有训好，根本没有学到东西（这是训的什么玩意儿！！！），这个特征感觉应该是那部分出错了，不过目前我还没有发现，发现后再更新原因及解决方案。。。。。。测试这里重点说一下测试的现...

当我们训练结束后，接下来要做的就是进行测试，也就是在测试集上验证自己训练出来的模型的泛化效果。在测试的时候一定要注意几点。先了解一下classification.cpp中重要的内容。model_file为测试模型时记录网络结构的prototxt文件路径trained_file为训练完毕的caffemodel文件路径mean_file为记录数据集均值的文件路径，数据集均值的文件的格式通常为...

Network In Network原文：https://arxiv.org/abs/1312.4400Abstract：We propose a novel deep network structure called “Network In Network”(NIN) to enhance model discriminability for local patches within th...