CNN学习笔记（一）

CNN学习笔记

CNN的前向传播

1、卷积层

如图为一卷积过程（过滤层步长设为1），则有：
o11=i11×h11+i12×h12+i21×h21+i22×h22
o12=i12×h11+i13×h12+i22×h21+i23×h22
…
为使得该线性变化输出非线性结果，可通过激活函数（如ReLU函数：f(x)=max(0,x)）
则最终o11=max（0，o11）…

2、池化层

对于卷积后的输出矩阵，进行池化处理
在CNN中，池化分为最大池化（max pooling）和平均池化（mean pooling）
以上图为例，对每一个区域（2×2），取最大池化时：
m11=max（o11,o12,o21,o22）
平均池化时：
m11=（o11+o12+o21+o22）/4
依次处理后，得到最终输出结果，可以看到，此时的矩阵已经被压缩

3、全连接层与输出

将池化后的矩阵“拉伸”成一维矩阵（m11，m12，m21,m22）
再将该矩阵输入到全连接层，计算得到不同类别的概率值，输出概率值最大的即为该图片的类别

CNN的后向传播

对于全连接层，误差计算方式仍与BP网络相同

卷积层误差

将原矩阵铺开：

则

池化层误差

max-pooling

对于最大池化，直接取1

mean-pooling

对于平均池化，可认为过滤矩阵的每一个元素均为1/S（S为池化层的面积）

手写数字识别

下面尝试通过keras调用mnist中的数据集进行手写数字识别的实现

import numpy as np
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense,Dropout,Convolution2D,MaxPooling2D,Flatten
from keras.optimizers import Adam

(xTr,yTr),(xTe,yTe)=mnist.load_data()#下载数据
index = np.random.randint(0, xTe.shape[0]) #随机存储一个数字，用于最后的测试
x = xTe[index]
y = yTe[index]
xTr=xTr.reshape(-1,28,28,1)/255.0 #处理灰度图像，通道为1
xTe=xTe.reshape(-1,28,28,1)/255.0
yTr=np_utils.to_categorical(yTr, num_classes=10)
yTe=np_utils.to_categorical(yTe, num_classes=10)

#设置卷积层
model.add(Convolution2D(
    filters=30,#卷积核（过滤层）
    kernel_size=(5,5),#核的“面积”
    strides=1,#步长
    padding='same',#自动填充边框
    activation='relu'))#激活函数
#设置池化层
model.add(MaxPooling2D(
    pool_size=(2,2),#池化层“面积”
    strides=2,
    padding='same'))

model.add(Flatten())#“拍平”成一维向量

model.add(Dense(500,activation='relu')) #接入全连接层
model.add(Dense(10,activation='softmax'))
#定义优化器
adam=Adam(0.001)
model.compile(adam,'categorical_crossentropy',['accuracy'])
#开始训练
model.fit(xTr,yTr,60)
#随机导入测试集中某一数字进行识别
plt.imshow(x, cmap='gray_r')
plt.title("original{}".format(y))
plt.show()

x = x.reshape(1,28, 28, 1)
predict = np.argmax(model.predict(x))
print('index', index)
print('original', y)
print('predict', predict)

选取了第7239个数字，为6，识别后也为6

参考资料

https://www.cnblogs.com/charlotte77/p/7783261.html
https://zhuanlan.zhihu.com/p/81675803