深度学习基础--loss与激活函数--maxout

maxout

  maxout是一种激活函数。
  整个maxout网络也是一种非线性的变换；maxout的拟合能力是非常强的，它可以拟合任意的的凸函数。最直观的解释就是任意的凸函数都可以由分段线性函数以任意精度拟合。
  缺点是这个算法参数个数会成k倍增加(k是maxout的一个参数)。
  它并不是一个固定的函数，没有一个固定的函数方程；它是一个可学习的激活函数，因为我们W参数是学习变化的。

计算过程

  它实质是在几个输入中选择max输出。
  它相当于在每个输出神经元前面又多了一层。
  这一层有5个神经元，此时maxout网络的输出计算公式为：

z1=w1*x+b1
z2=w2*x+b2
z3=w3*x+b3
z4=w4*x+b4
z5=w5*x+b5
out=max(z1,z2,z3,z4,z5)