caffe源码之　dropout层

最新推荐文章于 2024-06-19 17:06:23 发布

_苏_

最新推荐文章于 2024-06-19 17:06:23 发布

阅读量4.3k

点赞数

分类专栏：深度学习文章标签： caffe 过拟合 dropout 训练结点

本文链接：https://blog.csdn.net/lanxueCC/article/details/53319872

版权

本文深入解析Caffe的Dropout_layer.cpp源码，探讨如何通过随机采样节点来防止训练过程中的过拟合，增强模型的鲁棒性。理解dropout层的工作原理对于优化深度学习模型至关重要。

摘要由CSDN通过智能技术生成

本文主要解析caffe源码文件/src/caffe/layers/Dropout_layer.cpp，该文件实现的功能是防止过拟合。

综述：：：：
dropout层的作用是防止训练的时候过拟合。在训练的时候，传统的训练方法是每次迭代经过某一层时，将所有的结点拿来做参与更新，训练整个网络。加入dropout层，我们只需要按一定的概率（retaining probability）p 来对weight layer 的参数进行随机采样，将被采样的结点拿来参与更新，将这个子网络作为此次更新的目标网络。这样做的好处是，由于随机的让一些节点不工作了，因此可以避免某些特征只在固定组合下才生效，有意识地让网络去学习一些普遍的共性（而不是某些训练样本的一些特性）这样能提高训练出的模型的鲁棒性！！！

下面记录下我在看dropout层时的注释，如有错误，请指出～～～

Dropout_layer.hpp：：：：

#ifndef CAFFE_DROPOUT_LAYER_HPP_
#define CAFFE_DROPOUT_LAYER_HPP_

#include <vector>

#include "caffe/blob.hpp"
#include "caffe/layer.hpp"
#include "caffe/proto/caffe.pb.h"

#include "caffe/layers/neuron_layer.hpp"

namespace caffe {

/**
 * @brief During training only, sets a random portion of @f$x@f$ to 0, adjusting
 *        the rest of the vector magnitude accordingly.
 *
 * @param bottom input Blob vector (length 1)
 *   -# @f$ (N \times C \times H \times W) @f$
 *      the inputs @f$ x @f$
 * @param top output Blob vector (length 1)
 *   -# @f$ (N \times C \times H \times W) @f$
 *      the computed outputs @f$ y = |x| @f$
 */
 /*DropoutLayer类继承了类NeuronLayer类*/
template <typename Dtype>
class DropoutLayer : public NeuronLayer<Dtype> {
 public:
  /**
   * @param param provides DropoutParameter dropout_param,
   *     with DropoutLayer options:
   *   - dropout_ratio (\b optional, default 0.5).
   *     Sets the probability @f$ p @f$ that any given unit is dropped.
   */
   /*构造函数*/
  explicit DropoutLayer(const LayerParameter& param)
      : NeuronLayer<Dtype>(param) {}
  /*设置函数*/
  virtual void LayerSetUp(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top);
  /*内存分配与输入输出数据形状reshape函数*/
  virtual void R