Python深度学习笔记06——tensorflow实现神经网络（叁）

目录

前言

一、卷积神经网络

1、卷积神经网络的结构：

（1）卷积层过滤器：（相当于观察窗口，里面有权重，移动来观察）

（2）激活函数：f(x) = max(0,x)

（3）池化层（Pooling）计算

（4）卷积网络API介绍：

二、案例实现

总结

---

前言

关于python深度学习（tensorflow 1.x版本）学习笔记06——神经网络（叁），本文通过学习视频《python深度学习》整理学习笔记。视频学习地址：https://www.bilibili.com/video/BV1Wt411C75s/

 

一、卷积神经网络

1、卷积神经网络的结构：

（1）卷积层过滤器：（相当于观察窗口，里面有权重，移动来观察）

• 个数
• 大小（一般为奇数 1 * 1、3 * 3、5 * 5）
• 步长（移动的像素数量），太大观察的太粗略，一般为1
• 零填充：卷积核在提取特征映射时的动作称之为padding（零填充）
• 卷积层输出深度、输出宽度
  • 深度由过滤器个数决定
  • 输出宽度：

输入体积大小H1 * W1 * D1

四个超参数：

    。Filter数量K

    。Filter大小F

    。步长S

    。零填充大小P

输出体积大小H2 * W2 * D2

    。H2 = （H1-F+2P）/S+1

    。W2 = （W1-F+2P）/S+1

    。D2 = K

• 卷积计算过程：（一个通道一个Filter一个步长）

（2）激活函数：f(x) = max(0,x)

• Relu函数：
• sigmoid函数的缺点：
  • 采用sigmoid等函数，反向传播求误差梯度时，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。
  • 对于深度网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（求不出权重和偏置）。
• 激活函