tensorflow实现Global average pooling 解决CNN中输入数据size不等的问题

摘要

笔者最近在研究语音识别的项目，发现与图像不同的是，语音识别在深度学习网络面临着帧长不等（相对来说图像有很多解决方法，如：crop，resize）的问题，而目前在语音方向上的一个较为常规的方法是选定较大的帧长，然后padding 0，这种方法会让零参与运算，而NIN（network in network）的方法给了笔者一个新的思路，可以解决这一问题。

Global averge pooling

如图所示为左图为经典的全连接网络，因为全连接这么设计，所以我们要求网络输入必须是固定size的数据，右面的为Global averge pooling ，原理，主要是把特征提取的每一层映射成一个点，所以可以解决网络数据固定大小数据的问题。

代码展示

```python
import tensorflow as tf

x = tf.placeholder(tf.float32,[1,None,None,1])
print(x)
conv1=tf.layers.conv2d(x,32,[3,3],strides=1, padding='SAME')
print(conv1)
conv2=tf.layers.conv2d(conv1,64,[3,3],strides=1, padding='SAME')
print(conv2)

如图所示这是一个简单的两层卷积结构
输出的结果为：

```python
Tensor("Placeholder_7:0", shape=(1, ?, ?, 1), dtype=float32)
Tensor("conv2d_7/BiasAdd:0", shape=(1, ?, ?, 32), dtype=float32)
Tensor("conv2d_8/BiasAdd:0", shape=(1, ?, ?, 64), dtype=float32)

在这段代码中我们假定输入数据size大小不一，batch_size为1，channel=1，因为一般都为语音所以channel为1，当然channel的大小看数据数据而定。
其他的结构自己搭建就好了，接下来我们想采用Global average pooling 的方法，我们发现在tensorflow中没有相应的函数，这时候我们采用的曲线救国的办法，采用tf.reduce_mean函数来解决问题

globel_average_pooling=tf.reduce_mean(conv2,[1,2])
print(globel_average_pooling)

得到的结果为

Tensor("Mean:0", shape=(1, 64), dtype=float32)

接下来就可以用传统的CNN结构来搭建网络了

缺点

每次只能训练一个大小不等的数据，或者一个batch中padding成大小一样的数据。