Capsule Networks胶囊网络（一）

最新推荐文章于 2024-01-11 15:50:58 发布
最新推荐文章于 2024-01-11 15:50:58 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 人工智能 深度学习 文章标签： 神经网络 人工智能 胶囊网络 capsule 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NGUever15/article/details/105441682
版权

原文链接：小样本学习与智能前沿
在这里插入图片描述

author: Sargur Srihari srihari@buffalo.edu

This is part of lecture slides on Deep Learning: http://www.cedar.buffalo.edu/~srihari/CSE676

文章目录

Limitations of Convolutional Networks

ConvolutionalNeuralNetworks

在这里插入图片描述

Source: https://hackernoon.com/ what-is-a-capsnet-or-capsule- network-2bfbe48769cc

  • 与常规神经网络相比，将计算量最小化
  • 卷积极大地简化了计算，而不会丢失数据的本质
  • 擅长处理图像分类
  • 在所有图像位置使用相同的知识

Processing Steps and Training for ConvNets

  1. Givenaninputimage,asetofkernelsorfiltersscan it and perform the convolution operation.
  2. This creates a feature map inside the network.
    These features next pass via activation and pooling layers
    • Activation layers, e.g., ReLU, induce nonlinearity
    • Pooling (eg: max pooling) helps in reducing the training time.
    （pooling实现子区域的摘要，实现不变性）
  3. At the end, it will pass via a classifier sigmoid/softmax
    Training is based on back propagation（反向传播） of error matched against labeled data.
    （非线性也有助于解决消失的梯度问题）

Pooling and Invariance

（池化和不变性）
Pooling应该获得位置，方向，比例或旋转不变性。
在这里插入图片描述
Every input value changed, but only half the output values have changed because maxpool is only sensitive to max value in neighborhood not exact value.

Example of CNN Limitation

CNN to recognize faces extracts features from image

在这里插入图片描述
与顺序无关，位置不对CNN也能进行识别

Motivation for CapsNets

Caps nets are an improvement on CNNs

  • They are the next version of CNNs
  • Solve problems due to max pooling and deep nets
    Loss of information regarding order and feature orientation
  • Hinton: “The pooling operation used in CNNs is a big mistake and the fact that it works so well is a disaster”

Solution offered by CapsNets

  • Low level features should also be arranged in a certain order for the object to be classified as a face
    （排序低级特征）
  • Order is determined during training when the network learns not only what features to look for but also what their relationships to one another should be （顺利由训练决定，不仅学习特征，还要学习特征之间的关系）
    具有特征顺序特征的图像才会被识别为人脸。

Visual Fixation

（视觉固定）

Human vision uses saccades

（人类视觉使用扫视）

  • 通过仔细的固定顺序忽略无关的细节
  • 确保仅以最高的分辨率处理光学阵列的一小部分
    在这里插入图片描述

We assume a single fixation will give us
• Much more than a single identified object and its properties
• Assume our multi layer visual system creates a parse tree on each fixation
• We ignore coordination of parse trees（解析树） over multiple fixations
在这里插入图片描述

Parse Tree of a Fixation

  • 对于单个注视，
    从固定的多层神经网络中刻出一个分析树
    像岩石上的雕塑
  • 每层将被分成许多小的神经元组，称为“胶囊”
  • 解析树中的每个节点将对应一个活动胶囊

Activation is a likelihood

神经元的激活水平可以解释为检测到特定特征的可能性
在这里插入图片描述
胶囊是一组神经元，不仅捕获可能性，而且捕获特定特征的参数。
在这里插入图片描述

CNN versus CapsNets

max pooling layers 获取图片的重要特征，但丢失了特征的结构取向
CNN 只检测特征是否存在，而不考虑位置

Capsnets replace scalar-output feature detectors with vector-output capsules and max-pooling with routing- by-agreement.
Capsnet用向量输出封装代替标量输出特征检测器，用按协议路代替最大池化。

Definition of Capsule

胶囊是一组神经元，其输出表示同一实体的不同属性。
胶囊是一组神经元，其激活向量代表特定类型的实体（例如对象或对象部分）的实例化参数

Example

在这里插入图片描述
在这里插入图片描述
2个神经元表示输出为二维向量，前项表方向，后向表大小。
在这里插入图片描述

Representing Entity in Input

within an active capsule
神经元表示实体的各种属性

  • 姿势，变形，颜色，速度
  • 实体在图像中是否存在是一个特殊的属性。

representing existence of entity
一个独立的logistic unit

  • 输出表示实体存在的概率
  • 向量的长度表示实体的存在，方向表示实体的属性

应用非线性使方向保持不变但减小其大小，保证胶囊的输出的向量长度不超过1
在这里插入图片描述
（数值大小，方向，实体大小，粗细程度）

Capsule Networks perform inverse Computer Graphics

Computer graphics generates images based on descriptions
在这里插入图片描述

Pooling and Equivariance

  • CNN中的Pooling是一个非常粗糙的方法
    实际上，它消除了各种位置不变性
    导致将图1中的右侧图像检测为正确的船
    在这里插入图片描述
    Equivariance 使网络了解旋转或比例的变化，并据此进行自适应，以使图像内部的空间定位不会丢失。

Example of equivariance with Capsnet

在这里插入图片描述
CNN会正确提取下层的特征，但会错误地激活上层的神经元以进行面部识别
在这里插入图片描述
CapsNet：神经元包含可能性以及特征的属性，例如包含[可能性，方向，大小]的向量

一旦模型认识到对该父神经元贡献最大信号的神经元在大小和方向上不一致，则用于面部检测的神经元的激活率将低得多。

From Convolution to Capsule

CNN基于简单的机制

  • 视觉系统需要在所有图像位置使用相同的知识
  • 这可以通过绑定特征检测器的权重来实现，以便在一个位置学习的特征在其他位置可用。
  • CNN使用学习过的特征检测器的翻译后的副本，这使它们可以将关于在图像中一个位置处获取的良好权重值的知识转换为其他位置。
  • 卷积胶囊扩展了跨位置的知识共享，以包括关于表征熟悉形状的部分-整体关系的知识。

Follow-up content

  • Dynamic Routing
  • Computing input/output vectors of capsule
  • Routing by Agreement
  • CapsNet Architecture
  • Performance of Capsule Networks
  • Matrix capsules with EM routing
_Summer tree
关注
专栏目录
胶囊网络(Capsule Networks)
程序员光剑
07-12 1778
传统的神经网络的基本单元是，每一个神经元接收上一层神经元输出标量的线性组合，经过激活函数输出一个。v1v2...v向量v代表了输入数据内的一种pattern类型，v的每一个维度代表了这个pattern的一种v的范数norm代表了这个pattern出现的(归一化后)。如对于卷积神经网络，一个胶囊的输出v可能代表某一种图案（如眼睛、嘴巴），v的每一个维度代表了这个图案的方向、大小等特征属性。
Capsule Networks（胶囊网络）.pdf
03-01
胶囊网络提供了一个有效的建模实体间局部到全局关系的方法，并可以学习视角不变表示。通过这种提升的表示学习，胶囊网络可以在多个领域下用更少的参数取得好的性能。
胶囊网络（Capsule Networks）
yyyyyyep的博客
06-27 2487
胶囊网络（Capsule Networks）是深度学习三巨头之一的Geoffrey Hinton提出的一种全新的神经网络。胶囊网络基于一种新的结构——胶囊（Capsule），通过与现有的卷积神经网络（CNN）相结合，从而在一些图像分类的数据上取得了非常优越的性能。何谓胶囊？简单来说，。因此，胶囊网络中的每层神经网络都包含了多个胶囊基本单元，这些胶囊与上层网络中的胶囊进行交互传递。
胶囊网络CapsNet
weixin_44295084的博客
08-24 477
写在前面：仅用于记录自己学习 squashing只是改变了长度，没有改变方向。
深度学习之胶囊网络CapsNet
blank_tj的博客
09-27 2316
论文地址：https://arxiv.org/abs/1710.09829 github地址：https://github.com/naturomics/CapsNet-Tensorflow 胶囊网络的理解 我的理解：胶囊网络是CNN的升级版，它们有很多相似的地方和根本的不同点。 CNN：每个神经元的输出是标量 CapsuleNet：每个神经元的输出是向量，也就是多个标量的结合 类比一下CNN和...
胶囊网络CapsNet--dynamic routing between capsules
zephyr_wang的博客
07-17 775
1 简介 本文根据2017年Hinton的《dynamic routing between capsules》翻译总结。 近30年，语音识别主要使用高斯混合隐马尔可夫模型（HMM）作为输出分布。这些模型容易在小的计算机上训练学习，但他们有模型表达限制：one-of- n 表达存在指数性无效率。为了使HMM记忆的信息翻倍，我们需要使隐藏节点的数量取平方（2次方）。而对于循环神经网络，只需要相应翻倍增加隐藏神经元的数量，不是指数性增加。 现在卷积网络在物体识别领域占据了主导地位，其是否也存在指数性无效率。卷积网
胶囊网络（Capsule Network）
qq_37844044的博客
03-02 4219
胶囊网络有意思的解析1、传统的CNN2、胶囊2.1 向量神经元和标量神经元（普通人工神经元）对比2.2 工作原理2.3 动态路由 1、传统的CNN CNN中包含一个很重要的概念——池化（pooling）。它的作用是逐渐减低数据的尺寸，减少网络中参数的数量，从而使得计算资源消耗减少、网络收敛加速学习，还会有效控制过拟合。 但是，这也使CNN网络包含极大的缺陷。Capsule的提出者Hinton就认为池化在CNN中的好效果是个大错误甚至灾难。 池化，这一过程中包含了一个滤波器来减低尺度，但是这会导致重要的信息丢
关于胶囊网络（Capsule Net）的个人理解
weixin_42078618的博客
12-13 9926
最近在跟踪keras的contri版的更新时，发现了冒出了一个Capsule层。于是我百度+谷歌一顿操作猛如虎，才发现在很早之前，胶囊网络的概念就提出了。但是限于胶囊网络的performance并不是在各个数据集都是碾压的情况，并且其计算量偏大，训练时间偏长，所以并没有被广泛的运用和替换。但是在官方给出的测试结果来看，其实效果还是挺不错的。 以上是原论文（https://ar...
3D-point-capsule-networks:3D 点胶囊网络
08-04
在本文中，我们提出了 3D 点胶囊网络，这是一种自动编码器，旨在处理稀疏的 3D 点云，同时保留输入数据的空间排列。 3D 胶囊网络是我们新颖的统一 3D 自动编码器公式的直接结果。 他们的动态路由方案和我们的方法...
Capsule Networks 胶囊网络
m0_61787307的博客
03-26 594
胶囊网络是Hinton老爷子近几年提出的一种新型的神经网络，他认为胶囊网络的设计更加符合人类神经元的原理，是未来可以替代传统神经网络的一种新的神经网络。
理解胶囊网络 Understanding Capsule Networks
06-17
胶囊网络是一种新兴的人工智能架构，相较于传统的卷积神经网络（CNN），它试图解决一些深层网络面临的问题，并提供改进方案。胶囊网络的提出是为了应对CNN在处理图像旋转、缩放等变换时存在的局限性，例如对于平移...
CapsuleNetWork：从TensorFlow复现代码理解胶囊网络（DynamicRoutingBetweenCapsules）
10-17
从TensorFlow复现代码理解胶囊网络（Dynamic Routing Between Capsules） 论文链接：https://arxiv.org/abs/1710.09829 Tensorflow代码复现链接：https://github.com/naturomics/CapsNet-Tensorflow
关键词识别matlab源代码-Speech-Command-Recognition-with-Capsule-Network:使用Google
05-28
关键词识别matlab源代码胶囊网络的端到端语音命令识别 INTERSPEECH 2018论文： 我们应用胶囊网络来捕获频率频谱和时间轴上语音频谱图特征的空间关系和姿势信息，并表明我们提出的在一秒钟语音命令数据集上使用胶囊网络的端到端SR系统在相比CNN基准模型，它既干净又增加了噪声。 2019年1月20日： CNN代码中还提供了其他基准关键词发现（KWS）模型。 入门 该代码是基于python2（2.7.12）实现的 先决条件 您应该已经准备好导入以下库： tqdm, numpy(1.14.1), termcolor, scipy, sklearn, scikits tensorflow(1.6.0), keras(2.1.4) pip install numpy pip install termcolor pip install scipy pip install sklearn pip install scikit-learn pip install tensorflow-gpu==1.6.0 pip install keras==2.1.4 语音特征生成 数据集 我们使用“ G
论文阅读_胶囊网络CapsNet
谢彦的技术博客
07-31 744
胶囊是一组神经元，其激活向量能表示特定类型的特征，比如一个对象或对象部分。文中用激活向量的长度表示存在的概率，用方向表示参数。
【Mo 人工智能技术博客】胶囊网络——Capsule Network
Mo 的博客
11-04 2906
胶囊网络——Capsule Network 作者：林泽龙 1. 背景介绍 CNN 在处理图像分类问题上表现非常出色，已经完成了很多不可思议的任务，并且在一些项目上超过了人类，对整个机器学习的领域产生了重大的影响。而 CNN 的本质由大量的向量和矩阵的相乘或者相加，因此神经网络的计算消耗非常大，所以将一张图片上全部像素信息传递到下一层运算是十分困难的，所以出现了“卷积”和“池化”这种方法，能够在不损...
【CV】胶囊网络 CapsNet：胶囊之间的动态路由机制
stay hungry, stay foolish
04-24 5993
论文年份：NeurIPS 2017，论文被引：3597（2022/04/23）
Capsule Network 胶囊网络介绍
最新发布
走在深度学习前沿的小宋
01-11 1501
胶囊网络可以作为一个论文提分的点，但是工程上不建议用。。。相比于CNN网络而言，胶囊网络可以用更小的训练数据进行良好的训练；具有更强的能力去识别复杂的层次结构和空间关系。
Capsule Networks胶囊网络（二）
Joselynzhao
04-12 715
文章目录Dynamic RoutingCoefficients operate on capsule levelDynamic Routing: Routing by AgreementComparison to fully connected neural networkfront-up contentComputing input/output vectors of a capsuleRout...
卷积网络虽动人，胶囊网络更传“神”
博文视点（北京）官方博客
07-13 1555
江山代有才人出，各领风骚数百年。但在计算机科学领域，风骚数十年都非常难。卷积神经网络在短短三十多年里，几起几落。别看它现在依然如日冲天，要知道，浪潮之巅的下一步，就是衰落。而加快推动这一趋势的，正是卷积神经网络得以雄起的大功臣——Geoffrey Hinton。他提出了全新的“神经胶囊”理论，这“胶囊”里到底装的是什么“药”呢？ 相关图书《深度学习之美：AI时代的数据处理与最佳实践》。从神经元到神...
Capsule Networks for Computer Vision: A Survey翻译
05-18
Capsule Networks (CapsNets)是一种新颖的深度神经网络架构，旨在克服传统卷积神经网络（CNNs）的一些限制，例如旋转不变性和视角不变性。Capsule Networks使用胶囊来表示图像或对象的各个特征，并且能够学习对象的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_Summer tree

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值