全连接&GAP&Tensorlfow实现

全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。

在CNN中，全连接常出现在最后几层，用于对前面设计的特征做加权和。比如 mnist，前面的卷积和池化相当于做特征工程，后面的全连接相当于做特征加权。

示例：

它是怎么样把3x3x5的输出，转换成1x4096的形式

很简单,可以理解为在中间做了一个卷积

从上图我们可以看出，我们用一个3x3x5的filter 去卷积激活函数的输出，得到的结果就是一个fully connected layer 的一个神经元的输出，这个输出就是一个值

因为我们有4096个神经元

我们实际就是用一个3x3x5x4096的卷积层去卷积激活函数的输出

 

代码:

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

## fc1 layer ##
# h的shape是 [n_samples, 7, 7, 64]
keep_prob = tf.placeholder(tf.float32)
W_fc1 = weight_variable([7*7*64, 1024])
b_fc1 = bias_variable([1024])
# [n_samples, 7, 7, 64] ->> [n_samples, 7*7*64]
h_flat = tf.reshape(h, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_flat, W_fc1) + b_fc1)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
## fc2 layer ##
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
prediction = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

·  目前由于全连接层参数冗余（仅全连接层参数就可占整个网络参数80%左右），近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化（global average pooling，GAP）取代FC来融合学到的深度特征，最后仍用softmax等损失函数作为网络目标函数来指导学习过程。需要指出的是，用GAP替代FC的网络通常有较好的预测性能。

global average pooling主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些特征点组成最后的特征向量。进行softmax中进行计算。举个例子，最后的一层的数据是10个6*6的特征图，global average pooling是将每一张特征图计算所有像素点的均值，输出一个数据值，这样10 个特征图就会输出10个数据点，将这些数据点组成一个1*10的向量的话，就成为一个特征向量，就可以送入到softmax的分类中计算了

代码：

def Global_Average_Pooling(x, stride=1):
    width = np.shape(x)[1]
    pool_size = width
    return tf.layers.average_pooling1d(inputs=x, pool_size=int(pool_size), strides=stride)
a=tf.constant([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16],
dtype=tf.float16)
b = tf.reshape(a,shape=(4,2,2))
c = Global_Average_Pooling(b)
sess = tf.Session()
print(sess.run(b))
print(sess.run(c)) 

原数据shape (4,2,2)

GAP后shape (4,2,1)即将原来四个样本，每个样本2个特征维度，每个特征维度有2个数据，将每个特征维压缩成一位

参考：https://www.zhihu.com/question/41037974/answer/150522307

https://www.zhihu.com/question/41037974/answer/320267531

https://blog.csdn.net/losteng/article/details/51520555