鱼书-第七章

第七章 卷积神经网络

1. 整体结构

2.卷积层

  在全连接层中，相邻层的神经元全部连接在一起，输出的数量可以任意决定，但是会忽略数据的形状（图像通常是高、长、通道方向上的3维形状，全连接层需要使用一维数据）而卷积层可以保持形状不变。
  CNN 中，有时将卷积层的输入输出数据称为特征图（feature map）。其中，卷积层的输入数据称为输入特征图（input feature map），输出数据称为输出特征图（output feature map）。

• 卷积运算
  

滤波器要奇数个大小

• 填充
    卷积运算的填充处理：向输入数据的周围填入0，调整输出的大小。（为如果每次进行卷积运算都会缩小空间，那么在某个时刻输出大小就有可能变为 1，导致无法再应用卷积运算。）

valid不填充：输出（N-F=1）（N-F=1）
same填充：输出与原图大小一致（N+2P-F+1）（N+2P-F+1）

• 步幅
    应用滤波器的位置间隔称为步幅（stride）。增大步幅后，输出大小会变小。而增大填充后，输出大小会变大。
  

当输出大小无法除尽时（结果是小数时），需要采取报错等对策。顺便说一下，根据深度学习的框架的不同，当值无法除尽时，有时会向最接近的整数四舍五入，不进行报错而继续运行。

• 三维数据的卷积运算
  在这个例子中，数据输出是1张特征图（通道数为1的特征图）
  
• 批处理
    批处理版的数据流中，在各个数据的开头添加了批用的维度。像这样，数据作为4维的形状在各层间传递。
  

3.池化层

  池化是缩小高、长方向上的空间的运算，提取特征图更好的特征。

• max和average池化
• 特征
  1.没有要学习的参数
  2.通道数不发生变化
  3.对微小的位置变化具有鲁棒性（健壮）
  4.降低后续网络层的输入维度，所建模型大小，提高网络精度。

4.卷积层和池化层的实现

• im2col

  im2col是一个函数，将输入数据展开以适合滤波器（权重）。
缺点：使用im2col展开后元素个数会多于原方块的元素个数。存在比普通的实现消耗更多内存的缺点。

• transpose

  transpose会更改多维数组的轴的顺序。

• 池化层在通道方向上是独立的

  池化层的实现和卷积层相同，都使用im2col展开输入数据。不过，池化的情况下，在通道方向上是独立的，这一点和卷积层不同。池化的应用区域按通道单独展开。

5.CNN的实现

初始化

class SimpleConvNet:
 	def __init__(self, input_dim=(1, 28, 28),conv_param={'filter_num':30, 'filter_size':5, 'pad':0, 'stride':1},hidden_size=100, output_size=10, weight_init_std=0.01):
 		filter_num = conv_param['filter_num']#从超参字典提取
 		filter_size = conv_param['filter_size']
 		filter_pad = conv_param['pad']
 		filter_stride = conv_param['stride']
 		input_size = input_dim[1]
 		conv_output_size = (input_size - filter_size + 2*filter_pad) / filter_stride + 1
 		pool_output_size = int(filter_num * (conv_output_size/2) *(conv_output_size/2))

权重参数初始化

self.params = {}#将这些参数保存在实例变量的params字典中
self.params['W1'] = weight_init_std * np.random.randn(filter_num,input_dim[0],filter_size, filter_size)
self.params['b1'] =np.zeros(filter_num)
self.params['W2'] = weight_init_std * np.random.randn(pool_output_size,hidden_size)
self.params['b2'] =np.zeros(hidden_size)
self.params['W3'] = weight_init_std * np.random.randn(hidden_size,output_size)
self.params['b3'] =np.zeros(output_size)

生成层

self.layers = OrderedDict()
self.layers['Conv1'] = Convolution(self.params['W1'],self.params['b1'],conv_param['stride'],conv_param['pad'])
self.layers['Relu1'] = Relu()
self.layers['Pool1'] =Pooling(pool_h=2, pool_w=2, stride=2)
self.layers['Affine1'] =Affine(self.params['W2'],self.params['b2'])
self.layers['Relu2'] = Relu()
self.layers['Affine2'] =Affine(self.params['W3'],self.params['b3'])
self.last_layer = softmaxwithloss()

推理和求损失函数

def predict(self, x):
 	for layer in self.layers.values():
 			x = layer.forward(x)
 	return x
def loss(self, x, t):
 	y = self.predict(x)
 	return self.lastLayer.forward(y, t)

误差反向传播法求梯度

def gradient(self, x, t):
 	# forward
 	self.loss(x, t)
 	# backward
 	dout = 1
 	dout = self.lastLayer.backward(dout)
	 layers = list(self.layers.values())
 	layers.reverse()
 	for layer in layers:
 		dout = layer.backward(dout)
 	# 设定
 	grads = {}
 	grads['W1'] = self.layers['Conv1'].dW
 	grads['b1'] = self.layers['Conv1'].db
 	grads['W2'] = self.layers['Affine1'].dW
 	grads['b2'] = self.layers['Affine1'].db
 	grads['W3'] = self.layers['Affine2'].dW
 	grads['b3'] = self.layers['Affine2'].db
 	return grads

6.CNN可视化

• 第 1层权重的可视化
  卷积层的滤波器会提取边缘或斑块等原始信息
• 基于分层结构的信息提取
  

7.常见CNN

• LeNet
  
• AlexNet