caffe 14 读书笔记 net层重要属性

深度学习的核心优势：好的特征可以通过学习得到。

卷积神经网络4个基本原则：局部互联、共享权值、下采样、使用多个卷积层
共享权值使参数量更少，下采样保证局部不变性，多特征图允许不同卷积核作为不同特征提取器。

卷积层提取特征图；通过局部感知野和参数共享降低参数数量。
引入激活函数，消除隐层的线性组合。
ReLU减少计算量;不会引起梯度消失;有一部分神经元为0，增加网络稀疏性，缓解过拟合发生。
pooling主要是降低特征维度，同时提高模型容错性。

卷积的作用是用来过滤特征，即提取特征。
池化pooling，也称为欠采样（subsampling）或下采样（downsampling），主要用于降低特征的维度，同时提高模型容错性，主要有max，average和sum等不同类型的操作

每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。
卷积核，也称为过滤器

同一层下的神经元的连接参数只与特征提取的方式有关，而与具体的位置无关，因此可以保证同一层中对所有位置的连接是权值共享的。举个例子来讲，第一层隐层是一般用来做边缘和曲线检测，第二层是对第一层学到的边缘曲线组合得到的一些特征，如角度、矩形等，第三层则会学到更复杂的一些特征，如手掌、眼睛等。对于同一层来讲，它们提取特征的方式一样，所以权值也应该一样。

模型参数远大于数据量时，相当于求解欠解方程，存在多解可能，容易产生过拟合。
模型参数远小于数据量时，相当于求解超解方程，可能无解，或者有解但准确率很低，属于欠拟合。
模型参数与数据量配置时，相当于求解恰定方程，既能避免过拟合，又能兼顾准确率，但模型参数量和数据量怎么才能做到匹配，是一个工程问题。

卷积层和全连接层统称为权值层。

卷积神经网络在进行计算加速优化时，重点放在卷积层；在进行参数、权值裁剪时，重点放在全连接层。

Net中重要属性

类对象	含义
layers_	记录Net prototxt 中出现的每个Layer
layers_names_	每个Layer的名称
layer_names_index_	每个Layer名称与顺序索引对应关系
layer_need_backward_	每个Layer是否需要反向传播过程
blobs_	记录Net中所有blob
blob_names_	记录每个blob名称
blob_names_index_	记录每个blob名称与顺序索引对应关系
blob_need_backward_	记录每个blob是否需要反向传播
bottom_vecs_	blobs_的影子，记录每个Layer的输入blob
bottom_id_vecs_	与bottom_vecs_关联，用于在blobs_中定位每个Layer的每个输入Blob
bottom_need_backward_	与bottom_vecs_关联，标志每个Blob是否需要反向传播过程
top_vecs_	blobs_的影子，记录每个Layer的输出Blob
top_id_vecs_	与top_vecs_关联，用于在blobs_中定位每个Layer的每个输出Blob
blob_loss_weights_	Net中每个Blob对损失函数的投票因子，一般损失层为1，其他层为0
net_input_blob_indices_	Net输入Blob在blobs_中的索引
net_output_blob_indices_	Net输出Blob在blobs——中的索引
net_input_blobs_	Net输入Blob
net_output_blobs_	Net输出Blob
params_	Net权值Blob，用于存储网络权值
param_display_names_	Net中权值Blob名称
learnable_params_	Net中可训练的权值Blob
params_lr_	learnable_params_中每个元素的学习率倍乘因子
has_params_lr	标志learnable_params_中每个元素是否有学习率因子
params_weight_decay_	learnable_params_中每个元素的权值衰减倍乘因子
has_params_decay_	标志leanable_params_中每个元素是否有权值衰减倍乘因子

图像分类需要解决的问题：
观测角度变化、光照条件变化、物体自身形变、物体部分遮挡、背景杂波影响、类内差异。