目录
本文篇幅较长,分为上下两篇,上篇详见基于改进YOLOv5的口罩人脸检测
3.4 Hardswish激活函数
Swish[ 41]激活函数是谷歌的研究员提出的一种新的激活函数,是Re LU激活 函数的改进,在更深的模型上往往比Re LU更好。Swish激活函数主要优点是具有归一化和平滑特性,能过滤过渡激活的输出信号,在x的值接近0的时候, Swish激活函数可以具有Re LU函数的快速收敛特性。
Swish激活函数和Hardswish[ 42]激活函数如公式3-3,3-4所示。
目录
本文篇幅较长,分为上下两篇,上篇详见基于改进YOLOv5的口罩人脸检测
Swish[ 41]激活函数是谷歌的研究员提出的一种新的激活函数,是Re LU激活 函数的改进,在更深的模型上往往比Re LU更好。Swish激活函数主要优点是具有归一化和平滑特性,能过滤过渡激活的输出信号,在x的值接近0的时候, Swish激活函数可以具有Re LU函数的快速收敛特性。
Swish激活函数和Hardswish[ 42]激活函数如公式3-3,3-4所示。