系列解读Dropout

本文主要介绍Dropout及延伸下来的一些方法,以便更深入的理解。想要提高CNN的表达或分类能力,最直接的方法就是采用更深的网络和更多的神经元,即deeper and wider。但是,复杂的网络也意味着更加容易过拟合。于是就有了Dropout,大部分实验表明其具有一定的防止过拟合的能力。...
阅读(3176) 评论(0)

多尺度竞争卷积

此次所讲内容来自《Competitive Multi-scale Convolution》, 时间节点2015.121-模型先来看看作者最开始设计的模型:这里着重说明一下Maxout:从r1、r2、r3、r4中选择最大的响应作为输出。由于K*K大小的卷积操作中都采取了pad=K/2、stride=1的操作,因此r1、r2、r3、r4的大小是一致的。增加了Max pooling,最终得到了下图的网络基...
阅读(2156) 评论(0)
    个人资料
    • 访问:473747次
    • 积分:5562
    • 等级:
    • 排名:第5274名
    • 原创:123篇
    • 转载:11篇
    • 译文:1篇
    • 评论:478条