深度学习keras学习笔记

深度学习keras学习笔记

1、优化的模型分为三种：牛顿法、最小二乘法、梯度下降法。
2、神经网络中常用梯度下降算法，在数据处理方面常用一个误差函数来看预测出来的值与真实的值的差别：cost=(predicted-real)^2=(Wx-y)2

3、如何用keras建立一个CNN神经网络的步骤：

第一层卷积层
（激活函数）
第一层池化层
第二层卷积层
（激活函数）
第二层池化层
（Flatten()过渡，拉成一维向量）
第一层全连接层
（激活函数）
第二层全连接层
（激活函数）
优化器

.compile()搭建模型
.fit()训练模型
.evaluate()评估模型

注：有几层卷积层就有几层池化层进行向下取样，就需要几层全连接层，每层CNN和全连接层后都需要一个激活函数，最后价格优化器，可优化可不优化。

1.model = Sequential() # 建立一个神经网络

2.建立第一层卷积层：
model.add(Convolution2D(
    filters=32,          # 32个滤波器
    kernel_size=(5,5),   # filter的长和宽都是5
    # nb_row=5,
    # nb_col=5,
    padding='same',   # filter的过滤方式是padding method，选择为same卷积操作的输入和输出尺寸会保持一致，缺位补零。如果选择valid,那卷积过后,尺寸会变小，输出维度 = 输入维度 - 滤波器长度+1。
    input_shape=(1,       # channels
                 28,28)   # height & width
))# nb_filter=32指用32个滤波器来扫描图片，每一个滤波器会总结出他的一个特征值，也会生成另外一张图片，故会生成32层图片，也就是后一个的高度就是32层
model.add(Activation('relu'))  # 表示传出的32个输出用激活函数relu来处理变成非线性数据

3.建立第一层池化层，向下取样，缩小长和宽，但高度没有被压缩
model.add(MaxPool2D(
    pool_size=(2, 2),    # 每次向下取样的大小
    strides=(2, 2),      # 跳多长多宽取一次样
    padding='same',  # padding method
))

4.建立第二层卷积层
model.add(Convolution2D(64, 5, 5, padding='same')) # 表示64个filter，他的长和宽都是5，过滤方式是same
model.add(Activation('relu'))

5.建立第二层池化层
model.add(MaxPool2D(pool_size=(2, 2), strides=(2, 2), padding='same'))

6.建立第一层全连接层
model.add(Flatten())    # 之前建立的都是3维的层，Flatten就是他们拉平成一维的层，作为从卷积层到全连接层的过渡
model.add(Dense(1024))  # 这里只需要写输出层，默认上一层的输出为这一层的输入
model.add(Activation('relu'))

7.建立第二层全连接层
model.add(Dense(10))  # 代表10个分类
model.add(Activation('softmax'))  # softmax是用来分类的激活函数

8.定义优化器
adam = Adam(lr=1e-4)  # 学习率lr=1e-4

9.搭建这个模型
model.compile(optimizer=adam,
              loss='categorical_crossentropy',
              metrics=['accuracy'])

10.训练模型
model.fit(X_train,y_train,epochs=1,batch_size=32)
loss,accuracy = model.evaluate(X_test,y_test)
print('test loss:',loss)
print('test accurcy:',accuracy)

Python机器学习笔记：深入理解Keras中序贯模型和函数模型

可以仔细查看此网址：https://www.cnblogs.com/wj-1314/p/9967480.html

4、LSTM(长短期记忆)

比普通的RNN(循环神经网络)多出三个控制器：输入控制器、输出控制器和忘记控制器，多了一条控制全局的记忆（主线），而三个控制器都在原本的RNN上（分线），如果其中的输入控制器（分线）对于结果非常重要，就会按重要程度把他写入主线中，再进行分析；如果分线改变了对之前的想法，忘记控制就会之前的某些主线剧情忘记，按比例替换成现在的新剧情，所以主线剧情的更新就取决于输入和更新对主线剧情的控制，输出控制会根据主线和分线来判断最后输出的到底是什么。于是LSTM就像延缓记忆衰退的良药，带来更好的结果。（如下图）