4.2 Tensorflow笔记:池化函数

原创 2017年08月04日 01:16:22

池化

卷积神经网络的结构

卷积神经网络

其中,input为输入,conv为卷积层,由卷积核构成,pool为池层,由池化函数构成最后是全连接层与输出层,其负责对卷积层提取的特征进行处理以获得我们需要的结果

池化函数的意义

池化层的输入一般来源于上一个卷积层,主要作用是提供了很强的鲁棒性(例如max-pooling是取一小块区域中的最大值,此时若此区域中的其他值略有变化,或者图像稍有平移,pooling后的结果仍不变),并且减少了参数的数量,防止过拟合现象的发生,同时参数的减少对于计算而言也有一定的帮助。而又因为池化层一般没有参数,所以反向传播的时候,只需对输入参数求导,不需要进行权值更新。

池化层的前向计算

常用的池化函数有最大池化,平均池化,其前向计算十分简单,最大池化就是求最大值,平均池化就是求平均值.其效果如下:
1. 最大池化:tf.nn.avg_pool
maxpool
这里写图片描述
2.平均池化:tf.nn.max_pool
平均池化

池化层反向计算

池化层的反向传播根据池化函数的不同也有两种方式
1. 最大池化,将残差传递给原来最大值的位置,其他位置的值设置为零
最大池化的反向传播
2. 平均池化,按照原来每个数字对应的位置,取对应残差的平均值(残差 / 对应位置数组数量)填充即可
平均池化的反向传播

code

# - * - coding: utf - 8 -*-
import tensorflow as tf
import os
import numpy as np

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

#
input_data = tf.Variable(np.random.rand(10, 9, 9, 3), dtype=np.float32)
filter_data = tf.Variable(np.random.rand(2, 2, 3, 2), dtype=np.float32)
y = tf.nn.conv2d(input_data, filter_data, strides=[1, 1, 1, 1], padding='SAME')
print('0. tf.nn.conv2d : ', y)

# 计算池化区域中元素的平均值
output = tf.nn.avg_pool(value=y, ksize=[1, 2, 2, 1], strides=[1, 1, 1, 1], padding='SAME')
print('1. tf.nn.avg_pool : ', output)

# 计算池化区域中元素的最大值
output = tf.nn.max_pool(value=y, ksize=[1, 2, 2, 1], strides=[1, 1, 1, 1], padding='SAME')
print('2. tf.nn.max_pool : ', output)

# 计算池化区域中元素的最大值,与最大值所在位置
# 1.1.0似乎只支持GPU,本代码首测运行于 python3.6.2 + Tensorflow(CPU) 1.2.0 + win10
output, argmax = tf.nn.max_pool_with_argmax(input=y, ksize=[1, 2, 2, 1], strides=[1, 1, 1, 1], padding='SAME')
print('2.5 . tf.nn.max_pool : ', output, argmax)

# 与conv2d_transpose 二维反卷积类似
# 在解卷积网络(deconvolutional network) 中有时被称为'反卷积',但实际上是conv3d的转置,而不是实际的反卷积
input_data = tf.Variable(np.random.rand(1, 2, 5, 5, 1), dtype=np.float32)
filters = tf.Variable(np.random.rand(2, 3, 3, 1, 3), dtype=np.float32)
y = tf.nn.conv3d(input_data, filters, strides=[1, 2, 2, 1, 1], padding='SAME')
print('3. tf.nn.conv3d : ', y)

# 计算三维下池化区域中元素的平均值
output = tf.nn.avg_pool3d(input=y, ksize=[1, 1, 2, 2, 1], strides=[1, 2, 2, 1, 1], padding='SAME')
print('4. tf.nn.avg_pool3d : ', output)

# 计算三维下池化区域中元素的最大值
output = tf.nn.max_pool3d(input=y, ksize=[1, 1, 2, 2, 1], strides=[1, 2, 2, 1, 1], padding='SAME')
print('5. tf.nn.max_pool3d : ', output)

# 执行一个N维的池化操作
# def pool(input, window_shape,pooling_type,padding,dilation_rate=None,strides=None,name=None,data_format=None):

run

0. tf.nn.conv2d :  Tensor("Conv2D:0", shape=(10, 9, 9, 2), dtype=float32)
1. tf.nn.avg_pool :  Tensor("AvgPool:0", shape=(10, 9, 9, 2), dtype=float32)
2. tf.nn.max_pool :  Tensor("MaxPool:0", shape=(10, 9, 9, 2), dtype=float32)
2.5 . tf.nn.max_pool :  Tensor("MaxPoolWithArgmax:0", shape=(10, 9, 9, 2), dtype=float32) Tensor("MaxPoolWithArgmax:1", shape=(10, 9, 9, 2), dtype=int64)
3. tf.nn.conv3d :  Tensor("Conv3D:0", shape=(1, 1, 3, 5, 3), dtype=float32)
4. tf.nn.avg_pool3d :  Tensor("AvgPool3D:0", shape=(1, 1, 2, 5, 3), dtype=float32)
5. tf.nn.max_pool3d :  Tensor("MaxPool3D:0", shape=(1, 1, 2, 5, 3), dtype=float32)

参考文章

【1】 深度学习笔记5:池化层的实现

版权声明:转载请标明出处:http://blog.csdn.net/fontthrone

相关文章推荐

【TensorFlow】tf.nn.max_pool实现池化操作

max pooling是CNN当中的最大值池化操作,其实用法和卷积很类似 有些地方可以从卷积去参考【TensorFlow】tf.nn.conv2d是怎样实现卷积的?  tf.nn.max_pool(...

Tensorflow一些常用基本概念与函数(1)

摘要:本文主要对tf的一些常用概念与方法进行描述。
  • lenbow
  • lenbow
  • 2016-08-08 16:00
  • 59250

Tensorflow之池化函数汇总

池化函数: 在神经网络中,池化函数一半都是跟在卷积函数的下一层,它们被定义在tensorflow-1.1.0/tensorflow/python/ops下的nn.py和gen_nn_ops.py文件...
  • zSean
  • zSean
  • 2017-09-07 20:43
  • 304

[TensorFlow 学习笔记-07]池化函数(Pooling Function)

[版权说明] TensorFlow 学习笔记参考: 李嘉璇 著 TensorFlow技术解析与实战 黄文坚 唐源 著 TensorFlow实战郑泽宇 顾思宇 著 TensorFlow实战Googl...

用TensorFlow实现卷积神经网络中的池化层

卷积神经网络中卷积层之间往往会加上一个池化层。池化层可以非常有效的缩小矩阵的尺寸,从而减少最后全连接层中的参数。使用池化层既可以加快计算速度,也可以有防止过拟合问题的作用。        池化层前向...

关于Tensorflow计算图与Tensor的理解

关于Tensorflow计算模型tensorflow的编程和我以往接触的编程方式有很大差异。以前的编程,无论是编译类型的语言还是脚本语言,都是一步一步的,变量计算后,就会得到结果,比如c=a+b,当执...
  • qian99
  • qian99
  • 2017-04-23 14:51
  • 2406

Tensorflow中卷积函数汇总

卷积函数是在一批图像上扫描的二维过滤器。卷积函数定义在tensorflow-1.1.0/tensorflow/python/ops下的nn_impl.py和nn_ops.py文件中。 (1)计算N维...
  • zSean
  • zSean
  • 2017-09-04 15:00
  • 347

TensorFlow学习(九):卷积网络CNN

tensorflow的卷积网络手写体识别

TensorFlow学习笔记(3)----CNN识别MNIST手写数字

介绍TF实现CNN识别MNIST的实现

tensorflow12《TensorFlow实战Google深度学习框架》笔记-06-01卷积层、池化层样例code

01 对卷积神经网络的一些理解 全链接方式参数太多;因参数量大,导致计算量过大;随着层数的增多,可计算性变小 卷积核、局部链接、感受野、权值共享、滑动步长、边缘填充、卷积核个数 局部链接和权值共享大大...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)