胶囊网络

产生胶囊网络的缘由
通常我们都是基于梯度下降的方式进行反向传播优化网络,学习一个最优的参数,梯度下降就是输入的数据每向前一步,都沿着最陡峭的地方下降,就这样一步一步的走向山底,该算法将每层的误差反馈给系统,并进行参数优化。但对应多个隐层的神经网络的时候,隐层的误差不能直接被反馈出来,所以权重不能直接被优化,神经网络的性能极大的不稳定。
反向传播就是一场及时雨,输出层没有适当而准确的误差,反向传播就会借助转置权重矩阵,让误差可以被隐藏层感知到,隐藏层的矩阵就可以借助间接误差进行更新,这样反复迭代,将包含隐藏层的多层神经网络误差讲到最小。这种卷积,池化,调参等一系列模拟神经元的操作,再输出不同的识别效果,分层认知特征的能力类似于人类大脑的思维方式,但是反向传播的天然缺陷是黑箱性,高消耗,迁移能力等诸多问题,所以提出了胶囊网络。
什么是胶囊网络
胶囊代表图像中特定实体的各种特征,比如位置,大小,方向,速度,色调,纹理等等,作为一个单独逻辑单元存在,然后使用一个协议路由算法,当胶囊将自己学习到并预测到的数据传递给最高层次的胶囊时,如果预测一致,更高级别的胶囊就会变得活跃,这个过程被称为动态路由。随着路由机制的不断迭代,就能将各种胶囊训练成学习不同思维的逻辑单元,让神经网络识别面部,就将面孔的不同部分分别路由到能够理解眼睛,鼻子,嘴,耳朵,的胶囊中去,
总是,就是一个打包好的神经元,他们在内部进行大量的运算,仅向上层传递一个结果,也就是一个高维向量。
那么比起常规的神经网络,胶囊网络的好处是:

  • 卷积神经网路是标量,胶囊网络是向量(不仅可以特征预测,还可以进行特征理解)
  • 卷积神经网络每一层都要进行卷积运算,因此需要相当多的网络数据才能学习,否则都不能进行精准的调参,胶囊网络要求学习特征变量,最大化的保持那些有价值的信息,因此可以使用较少的数据就可以推断到可能的变量,达到cnn的预测效果。
  • 卷积神经网络不能很好的处理模糊性,因此不断池化可能丢失许多重要的特征信息,因此对于微小的变化不敏感,在完成语义分割复杂任务的时候,需要构建复杂的体系结构来解决信息丢失的问题。但是胶囊网路,每个胶囊都携带者大量的信息,目标位置,旋转厚度,倾斜,大小等详细信息都保存并平移给上层胶囊,自然就可以用简单一致的架构,应对不同的视觉任务。
    胶囊网络研究的局限性
    1模型的训练周期的局限
    2学术起步阶段的研究局限
    3 胶囊网络自身的性能局限
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值