caffe全连接层原理解读

转载 2016年08月29日 20:04:36

original url:

http://blog.csdn.net/tina_ttl/article/details/51034867


在caffe中,网络的结构由prototxt文件中给出,由一些列的Layer(层)组成,常用的层如:数据加载层、卷积操作层、pooling层、非线性变换层、内积运算层、归一化层、损失计算层等;本篇主要介绍全连接层

该层是对元素进行wise to wise的运算

1. 全连接层总述

下面首先给出全连接层的结构设置的一个小例子(定义在.prototxt文件中) 

layer {
  name: "fc6"
  type: "InnerProduct"
  bottom: "pool5"
  top: "fc6"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}

 

2. 全连接层相关参数 

接下来,分别对全连接层的相关参数进行说明

(根据全连接层层的定义,它的学习参数应该为权值和bias,其他的相关参数都为hyper-paramers,在定义模型时是要给出的)

注:全链接层其实也是一种卷积层,只不过卷积核大小与输入图像大小一致

lr_mult:学习率系数

放置在param{}中

该系数用来控制学习率,在进行训练过程中,该层参数以该系数乘solver.prototxt配置文件中的base_lr的值为学习率

即学习率=lr_mult*base_lr

如果该层在结构配置文件中有两个lr_mult,则第一个表示权值学习率系数,第二个表示偏执项的学习率系数(一般情况下,偏执项的学习率系数是权值学习率系数的两倍)

inner_product_param:内积层的其他参数

放置在inner_product_param{}中

该部分对内积层的其他参数进行设置,有些参数为必须设置,有些参数为可选(因为可以直接使用默认值)

  • 必须设置的参数

  1. num_output:filter个数

  • 其他可选的设置参数

    1. weight_filter:权值初始化方法,使用方法如下
      weight_filter{
            type:"xavier"  //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
      }

    2. bias_filter:偏执项初始化方法
      bias_filter{
            type:"xavier"  //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
      }
    3. bias_term:是否使用偏执项,默认值为Ture
 参考:caffe tutorial

Caffe 代码解读之全连接层 inner product layer

caffe 代码解读 全连接层 inner product layer caffe_cpu_gemv caffe_cpu_gemm axis
  • bailufeiyan
  • bailufeiyan
  • 2016年03月12日 11:48
  • 6796

caffe之(四)全连接层

在caffe中,网络的结构由prototxt文件中给出,由一些列的Layer(层)组成,常用的层如:数据加载层、卷积操作层、pooling层、非线性变换层、内积运算层、归一化层、损失计算层等;本篇主要...
  • tina_ttl
  • tina_ttl
  • 2016年04月01日 10:34
  • 4004

caffe学习笔记31-理解全连接层

caffe学习记录
  • YiLiang_
  • YiLiang_
  • 2017年03月05日 16:30
  • 9438

Caffe中卷基层和全连接层训练参数个数如何确定

慢慢填坑中,今天来仔细讲一下卷基层和全连接层训练参数个数如何确定的问题。我们以Mnist为例,首先贴出网络配置文件: name: "LeNet" layer { name: "mnist" ...
  • Sunshine_in_Moon
  • Sunshine_in_Moon
  • 2016年05月17日 15:26
  • 5149

caffe matlab 提取全链接层特zheng

clc; clear all; addpath('..') %加入+caffe路径 load da2.mat %% % caffe.set_mode_cpu();%设置CPU模式 model = 'd...
  • qq_18343569
  • qq_18343569
  • 2017年02月20日 20:54
  • 870

解释一下全连接层

解释全连接层的意义与原理
  • u011021773
  • u011021773
  • 2017年09月28日 11:07
  • 2214

caffe全连接层(INNER_PRODUCT)源码注释与分析

// Copyright 2014 BVLC and contributors. //这是全连接层的实现 #include #include "caffe/blob.hpp" #include "...
  • u010668083
  • u010668083
  • 2014年12月29日 17:43
  • 5911

DL学习笔记【9】caffe参数调节-全连接层

转自:http://www.cnblogs.com/lutingting/p/5240714.html 在caffe中,网络的结构由prototxt文件中给出,由一些列的Layer(...
  • Sun7_She
  • Sun7_She
  • 2016年07月26日 13:27
  • 2592

深度学习笔记6:全连接层的实现

全连接层的推导 全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。 全连接层的前向计算 下图中连线最密集的2个地方就是全连...
  • l691899397
  • l691899397
  • 2016年08月21日 14:31
  • 21605

CNN中全连接层是什么样的?

名称:全连接。意思就是输出层的神经元和输入层的每个神经元都连接。 例子: AlexNet  网络中第一个全连接层是这样的: layer {   name: "fc6"   type: "InnerPr...
  • h_jlwg6688
  • h_jlwg6688
  • 2016年09月22日 15:24
  • 14162
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:caffe全连接层原理解读
举报原因:
原因补充:

(最多只允许输入30个字)