Inception-V1

Inception-V1的理论基础包括Hebbian原则和多尺度处理。Hebbian原则指出相关性高的神经元会一起兴奋,网络设计借鉴这一点,通过不同大小的卷积核捕捉多尺度特征。多尺度处理则考虑到同一物体在图像中可能存在大小变化。Inception结构使用不同尺寸的卷积核并结合1x1卷积,有效地减少了参数数量,同时保持了计算效率和模型性能。
摘要由CSDN通过智能技术生成

Hebbian principle和Multi-scale processing是inception-V1的理论基础。Hebbian principle是神经科学中的名词,被概括为神经元”fire together, wire together”的特性。即是相关性高的神经元将一同兴奋。对于机器学习而言,一种好的方法是将类似的神经元聚集在一起。Multi-scale processing是来自于一种直觉,那就是同一物体在照片中的尺度有可能有很大不同,因此机器学习算法需要同时学习同一物体在不同尺度上的特征。要想理解Inception-V1的设计哲学,就需要从这两个方面理解网络结构。

要理解Hebbian principle,首先要从人体神经系统的特点说起。人体神经网络的连接是比较稀疏的,而传统的人造神经网络的层与层之间的连接是比较紧密的。卷积本身就是一种稀疏的表示,因为卷积可以看做除卷积核之外,其余部分的连接权重为0的一种全连接。
这里写图片描述

早期的卷积之间的连接是随机而稀疏的,例如LeNet中,S2与C3层的连接如下图所示。
这里写图片描述

然而,由于这种稀疏连接的feature map只具有很低的计算效率。这种方式在AlexNet中被摒弃,全连接的卷积层又成为了CNN的主流连接方式。

由此看来我们面对了一个相当严重的trade-off。如果希望模拟人类的神经系统,我们需要稀疏连接,当如果需要高的计算效率,我们需要紧密连接。解决这一问题

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值