CNN/RNN python代码和详细解释（学习笔记）

CNN/RNN学习笔记

祎小祎

1. 人工神经网络
神经网络的每个神经元如下

基本wx + b的形式，其中

x1 x2表示输入向量
w为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重
b为偏置bias
g(z) 为激活函数
a 为输出

1.1 CNN网络的层级结构
输入层，卷积层，激活层，池化层，全连接FC层。

输入层：对数据做预处理，常见处理方：（1）去均值 （2）归一化 （3）降维

卷积层：人的大脑识别图片的过程中，并不是一下子整张图同时识别，而是对于图片中的每一个特征首先局部感知，然后更高层次对局部进行综合操作，从而得到全局信息。
卷积层使用“卷积核”进行局部感知。举个例子来讲，一个32×32×3的RGB图经过一层5×5×3的卷积后变成了一个28×28×1的特征图，那么输入层共有32×32×3=3072个神经元，第一层隐层会有28×28=784个神经元，这784个神经元对原输入层的神经元只是局部连接。

激励层：对卷积层结果做一次非线性映射。
如果不用激励函数（其实就相当于激励函数是f(x)=x），这种情况下，每一层的输出都是上一层输入的线性函数。容易得出，无论有多少神经网络层，输出都是输入的线性组合，与没有隐层的效果是一样的，这就是最原始的感知机了。

• 使用ReLu时，应调小learning rate,防止出现很多梯度为零的神经元
• 如果不能解决learning rate的问题，就使用Leaky ReLu、PReLu来替代
• 不建议使用sigmoid函数，用tanh替代

池化层：主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。主要有以下两种方式

• Max Pooling：最大池化
• Average Pooling：平均池化

下图展示了一个含有多个卷积层+激励层+池化层的过程：

2.代码

• python 基于keras实现CNN代码 （已经实操可以直接用）
• Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。

import numpy as np
#seed( ) 用于指定随机数生成时所用算法开始的整数值。 
np.random.seed(1337)
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation, Flatten
from keras.layers import Convolution2D, MaxPooling2D
from keras.utils import np_utils
from keras import backend as K
#选取样本数
batch_size = 128
nb_classes = 10
epochs = 5
# input image dimensions
img_rows, img_cols = 28, 28
# 卷积滤波器的数量
nb_filters = 32
# size of pooling area for max pooling
pool_size = (2, 2)
# convolution kernel size 设置卷积核大小
kernel_size = (3, 3)
(X_train, y_train), (X_test, y_test) = mnist.load_data()
from sklearn.model_selection import train_test_split
#x为数据集的feature熟悉，y为label.
X_train, X_valid, y_train, y_valid = train_test_split(X_train, y_train, test_size = 0.2)
 
# 根据不同的backend定下不同的格式
if K.image_dim_ordering() == 'th':
    X_train = X_train.reshape(X_train.shape[0], 1, img_rows, img_cols)
    X_test = X_test.reshape(X_test.shape[0], 1, img_rows, img_cols)
    X_valid = X_valid.reshape(X_valid.shape[0], 1, img_rows, img_cols)
    input_shape = (1, img_rows, img_cols)
else:
    X_train = X_train.reshape(X_train.shape[0], img_rows, img_cols, 1)
    X_test = X_test.reshape(X_test.shape[0], img_rows, img_cols