池化、局部归一化、tf

1. 平均池化和最大池化

引用：https://www.zhihu.com/question/23437871/answer/24696910

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

卷积层是对图像的一个邻域进行卷积得到图像的邻域特征，亚采样层就是使用pooling技术将小邻域内的特征点整合得到新的特征。pooling的结果是使得特征减少，参数减少，但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性（旋转、平移、伸缩等），常用的有mean-pooling，max-pooling和Stochastic-pooling三种。

特征提取的误差来源

• 一定大小的核进行卷积操作时，无疑只能涉及到整个矩阵的部分区域，难免有局限性，最终造成估计值方差变大。
• 卷积层参数误差造成估计均值的偏移。例如对卷积层输出值的权重配置不准确。

一般来说，mean-pooling能还原全局特征，能减小第一种误差，更多的保留图像的背景信息。max-pooling能减小第二种误差，更多的保留纹理信息。Stochastic-pooling则介于两者之间，通过对像素点按照数值大小赋予概率，再按照概率进行亚采样，在平均意义上，与mean-pooling近似，在局部意义上，则服从max-pooling的准则。

---

2. 局部归一化

引用：https://blog.csdn.net/yangdashi888/article/details/77918311

Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下：

1. 成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。

2. 训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

3. 在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

4. 提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

提出了LRN层，对局部神经元的活动创建竞争机制（生物中的侧抑制），使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力

---

3. tf.app.flags.DEFINE_string()和tf.app.flags.FLAGS

tf.app.flags.DEFINE_xxx()就是添加命令行的optional argument（可选参数），而tf.app.flags.FLAGS可以从对应的命令行参数取出参数。

import tensorflow  as tf
FLAGS=tf.app.flags.FLAGS
tf.app.flags.DEFINE_float(
    'flag_float', 0.01, 'input a float')
tf.app.flags.DEFINE_integer(
    'flag_int', 400, 'input a int')
tf.app.flags.DEFINE_boolean(
    'flag_bool', True, 'input a bool')
tf.app.flags.DEFINE_string(
    'flag_string', 'yes', 'input a string')
 
print(FLAGS.flag_float)
print(FLAGS.flag_int)
print(FLAGS.flag_bool)
print(FLAGS.flag_string)

1. 在命令行中查看帮助信息，在命令行输入 python test.py -h

注意红色框中的信息，这个就是我们用DEFINE_XXX添加命令行参数时的第三个参数。

2. 直接运行 test.py文件

因为没有给对应的命令行参数赋值，所以输出的是命令行参数的默认值。

3. 带命令行参数的运行test.py文件

这里输出了我们赋给命令行参数的值

作者：oyejiji
来源：CSDN
原文：https://blog.csdn.net/m0_37041325/article/details/77448971
版权声明：本文为博主原创文章，转载请附上博文链接！

---