m-arcsinh激活函数

m-arcsinh激活函数

论文链接：m-arcsinh: An Efficient and Reliable Function for SVM and MLP in scikit-learn

年份：2020年

简介

对于一个广义的函数，它既可以作为SVM和MLP的核函数，也可以作为激活函数，它必须能够：

1. 最大化SVM的边际宽度
2. 通过适当扩展MLP范围的传输机制，改善对输入数据到目标类的区分。

满足上述两个要求的函数分别是SVM的线性核函数和MLP的tanh函数。然而，虽然线性核不适合在MLP中适当地利用梯度下降训练在非线性可分离数据的存在，tanh函数有一个扩展的范围，具有sigmoidal行为支持向量机，以可靠地最大化边缘宽度与此类数据。由此设计了一个新的函数，同时适应SVM和MLP，利用双曲正弦函数和平方根函数进行加权，arcsinh的权重为$\frac{1}{3}$，平方根的权重为$\frac{1}{4}$，由此获得：
$$m-arcsinh(x)=arcsinh(x)\times \frac{1}{3}\times \frac{1}{4}\times \sqrt{|x|}$$
该函数的导数为：
$$m-arcsin{h}^{\prime }(x)=\sqrt{|x|}\times \frac{1}{12\times \sqrt{x^2+1}}+\frac{x\times arcsinh(x)}{24\times |x{|}^{\frac{3}{2}}}$$

该函数的图像如下图所示：