1、原理简介
maxout激发函数,则其隐含层节点的输出表达式为:
![](http://upload-images.jianshu.io/upload_images/4155986-1b5bc20ed6ee1a1f.png)
这里的W是3维的,尺寸为d*m*k,其中d表示输入层节点的个数,m表示隐含层节点的个数,k表示每个隐含层节点对应了k个”隐隐含层”节点,这k个”隐隐含层”节点都是线性输出的,而maxout的每个节点就是取这k个”隐隐含层”节点输出值中最大的那个值。因为激发函数中有了max操作,所以整个maxout网络也是一种非线性的变换。
下图可以帮你直观的认识什么是maxout激活函数(下图中k=3):
![](http://upload-images.jianshu.io/upload_images/4155986-d9076a735663a0f7.png)
maxout的拟合能力是非常强的,它可以拟合任意的的凸函数。最直观的解释就是任意的凸函数都可以由分段线性函数以任意精度拟合,而