![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
激活函数
AI剑客
计算机视觉方向:图像及视频处理
展开
-
sigmoid & tanh激活函数
sigmoid & tanh激活函数介绍:1.sigmoid 激活函数tanh 函数是sigmoid函数的一种变体,以0点为中心。取值范围为 [-1,1] ,而不是sigmoid函数的 [0,1] 。2.tanh 是对 sigmoid 的平移和收缩: tanh(x)=2⋅σ(2x)−1sigmoid & tanh 函数图像如下:3.sigmoid作激活函数的优缺点...原创 2019-11-13 22:41:19 · 4333 阅读 · 0 评论 -
Relu激活函数及其变种
神经网络中使用激活函数来加入非线性因素,提高模型的抽象表达能力。ReLU(Rectified Linear Unit,修正线性单元)ReLU公式近似推导::下面解释上述公式中的softplus,Noisy ReLU.softplus函数与ReLU函数接近,但比较平滑, 同ReLU一样是单边抑制,有宽广的接受域(0,+inf), 但是由于指数运算,对数运算计算量大的原因,而不太被人使用.并且...原创 2019-11-13 21:29:05 · 1848 阅读 · 0 评论 -
ReLU6及keras实现
ReLU6:首先说明一下ReLU6,卷积之后通常会接一个ReLU非线性激活,在Mobile net v1里面使用ReLU6,ReLU6就是普通的ReLU但是限制最大输出值为6,这是为了在移动端设备float16的低精度的时候,也能有很好的数值分辨率,如果对ReLU的激活范围不加限制,输出范围为0到正无穷,如果激活值非常大,分布在一个很大的范围内,则低精度的float16无法很好地精确描述如此大范...原创 2019-11-13 20:11:47 · 2621 阅读 · 0 评论 -
神经网络中激活函数选择法则
激活函数选择法则:1.首先尝试ReLU,速度快,但要注意训练的状态.2.如果ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。3.尝试tanh正切函数(以零点为中心,零点处梯度为1)4.sigmoid/tanh在RNN(LSTM、注意力机制等)结构中有所应用,作为门控或者概率值.5.在浅层神经网络中,如不超过4层的,可选择使用多种激励函数,没有太大的影响。...原创 2019-11-13 19:41:53 · 1068 阅读 · 0 评论 -
谷歌swish激活函数的keras实现
swish激活函数的keras-tf实现x * tf.sigmoid(beta * x)或者tf.nn.swish(x)def swish(x): """ Swish activation function. # Arguments x: Input tensor. # Re...原创 2019-11-13 19:38:54 · 1412 阅读 · 1 评论 -
谷歌swish激活函数
Swish是Google17年在10月16号提出的一种新型激活函数,其原始公式为:f(x)=x * sigmod(x),变形Swish-B激活函数的公式则为f(x)=x * sigmod(b * x),其拥有不饱和,光滑,非单调性的特征。f(x)=x⋅sigmoid(βx)β是个常数或可训练的参数.Swish 具备无上界有下界、平滑、非单调的特性。Swish 在深层模型上的效果优于 ReLU。...原创 2019-11-13 19:28:11 · 1403 阅读 · 0 评论