【DL笔记】mobileNetv2中的_make_divisible

 mobilenet在轻量化CNN中是很经典的存在了，最近在看相关代码和论文，除了深度可分离卷积、倒残差结构，v2里面对ReLu激活函数的一些讨论也感觉很好。一开始看代码的时候主要对_make_divisible()函数不是很理解，在这里记录一下。

代码：

def _make_divisible(v, divisor, min_value=None):
    """
    This function is taken from the original tf repo.
    It ensures that all layers have a channel number that is divisible by 8
    It can be seen here:
    https://github.com/tensorflow/models/blob/master/research/slim/nets/mobilenet/mobilenet.py
    :param v:
    :param divisor:
    :param min_value:
    :return:
    """
    if min_value is None:
        min_value = divisor
    new_v = max(min_value, int(v + divisor / 2) // divisor * divisor)
    # 确保向下舍入不超过10%
    if new_v < 0.9 * v:
        new_v += divisor
    return new_v

这个函数的作用主要是为了确保所有网络层的通道数都可以被8整除。那么为什么要这样呢？

主要还是出于计算机处理单元的架构上考虑：

在大多数硬件中，size 可以被 d = 8, 16， ... 整除的矩阵乘法比较快，因为这些 size 符合处理器单元的对齐位宽。 

总之就是为了快。

（可能就像是类似人认为batch_size设成 8或2的倍数也能加快运算效率？）

 参考：mobilenet 中的通道数为什么要使用 _make_divisible 函数确保为 8 的整数倍？ - 刘冲的博客https://github.com/d-li14/mobilenetv2.pytorch