piece-wise linearhard analog，分段式非线性激活函数的优点

1、起源

       如果你经常留意api，你会发现一些这样的激活函数：

   

 

   

 

2、优点

       从上面的激活函数可以看出，这些函数都加了一个hard，他和原来的soft的区别就是soft函数比如softmax，softtanh都是平滑函数，而加了hard之后，这些函数都会变成分段的直线函数，那么究竟这样做有什么好处呢？

       参考论文：MobileNetV3http://extension://bfdogplmndidlpjfhoijckpakkdjkkil/pdf/viewer.html?file=https%3A%2F%2Farxiv.org%2Fpdf%2F1905.02244.pdf

       段落：

        剖析：

       从上面论文描述可以看出，这些函数和soft函数，也就是非分段函数，非直线函数在准确率上没有明显的区别，但是呢，在部署方面有很大的优势：

（1）减少了内存的访问次数，从而降低了时间延迟成本