MobileNet V3激活函数之h-swish

激活函数h-swish是MobileNet V3相较于V2的一个创新，是在谷歌大脑2017年的论文Searching for Activation Functions中swish函数的基础上改进而来，用于替换V2中的部分ReLU6。

swish的作者认为，该函数具有无上界、有下界、平滑、非单调的特点，在深层模型上优于ReLU。但是，由于sigmoid函数计算复杂（sigmoid(x) = (1 + exp(-x))^(-1)），所以V3改用近似函数来逼近swish，这使其变得更硬（hard）。作者选择了ReLU6作为这个近似函数，有两个原因：1、在几乎所有的软件和硬件框架上都可以使用ReLU6的优化实现；2、ReLU6能在特定模式下消除由于近似sigmoid的不同实现而带来的潜在的数值精度损失。

作者认为，随着网络的深入，应用非线性激活函数的成本会降低，能够更好的减少参数量。作者发现swish的大多数好处都是通过在更深的层中使用它们实现的。因此，在V3的架构中，只在模型的第一层和后半部分使用h-swish(HS)。