【胶囊网络论文解读】EFFICIENT-CAPSNET: CAPSULE NETWORK WITH SELF-ATTENTION ROUTING

最新推荐文章于 2022-06-08 00:00:00 发布
最新推荐文章于 2022-06-08 00:00:00 发布
阅读量1k 收藏 2
点赞数 1
分类专栏： 胶囊网络 文章标签： 网络 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SiranTang/article/details/125140554
版权

EFFICIENT-CAPSNET:

CAPSULE NETWORK WITHSELF-ATTENTION ROUTING

作者：Vittorio Mazzia, Francesco Salvetti, Marcello Chiaberge

一、Background

  • 度卷积神经网络是依靠大量的数据和具有大量特征映射的层来完成学习和更新的，这个过程并不是非常高效，对于大型数据集来说，这意味着有大量冗余的特征检测器。
  • 针对这一问题，胶囊网络是一个有发展潜力的解决方案——它可以扩展当前的卷积网络，并可以令人工视觉感知到高效编码所有特征仿射变换的过程。
  • 由于内在具有更好的概括能力，一个胶囊网络理论上可以使用相当少的参数数量，并获得更好的结果。

二、Motivation

  • 然而，很少有人关注胶囊网络的效率问题以及表示知识转换的内在能力。事实上，目前提出的所有模型解决方案都需要大量的参数，这些参数不可避免地隐藏了胶囊应该提供的内在泛化能力。
  • 注意机制允许动态地更加重视那些被认为与所分析的问题更相关的特定特征。这种想法在许多深度学习应用程序中获得了广泛的应用。
  • 研究者用一个新颖的非迭代的路由算法替代了动态路由，利用自我注意机制，这种新颖的算法可以很容易地对小数量的胶囊进行处理。

三、Model

最低0.47元/天 解锁文章
SiranTang
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CAPSNET：具有自我注意路由的胶囊网络
小白学视觉
02-07 853
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 小白导读论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨...
胶囊网络全新升级！引入自注意力机制的Efficient-CapsNet
Paper weekly
03-16 4139
©PaperWeekly 原创 ·作者｜孙裕道学校｜北京邮电大学博士生研究方向｜GAN图像生成、情绪对抗样本生成论文链接：https://arxiv.org/abs/2101.12491...
论文解析：Capsule Network
罟霖同学的站点
02-05 1045
Capsule Network解析
大神Hinton的Capsule论文终于公开，神经网络迎来新探索
itheima_Wujie的博客
10-28 517
“我的观点是把它全部抛掉，重头再来。” 今年9月的一次大会上，大神Geoffrey Hinton再次号召展开一次AI革命。 应该向何处去？实际上最近几年来，Hinton的大量精力都投入到了对capsule的研究之上。他想做capsule和想要推翻反向传播，几乎是出于同一个原因：不像大脑。 capsule的提出，正是为了应对神经网络与大脑的一个不相似之处，也是Hinton这3年来一
CapsuleNet论文笔记
JJprincess的博客
05-02 2147
    1.论文地址：Dynamic Routing Between Capsules    2.CapsuleNet vs 传统CNN   传统的CNN对于图像大幅度的旋转、变形或朝向不同的方向的图片是无法处理的，除此之外，CNN中的Pooling层会丢失一些信息，如位置信息等，这对于目标检测或目标精确分割是不利的。CNN 的输入和输出都是标量，Capsule则以向量作为输入和输出，Caspsu...
【胶囊网络论文解读】HP-Capsule: Unsupervised Face Part Discovery by Hierarchical Parsing Capsule Network
SiranTang的博客
06-08 525
胶囊网络的应用与改进
dynamic-routing-capsule-cifar:CapsNet参考来自
05-03
动态路由胶囊参考来自： : 使用胶囊之间的动态路由测试Cifar-10数据集将该数据与resnet18（深18层）进行比较，resnet18包含与Hinton论文中所测试的胶囊网相似的参数。 每个纪元在Resnet中仅需不到5分钟的时间，因此...
Super-Resolution-using-Capsnet:使用Capsule Network和Capsnet的超分辨率，具有对抗性损失
05-18
而本项目则尝试引入了一种新的网络结构——胶囊网络（Capsule Network, CapsNet），并结合生成对抗网络（Generative Adversarial Networks, GANs），以实现更高质量的超分辨率重建。 胶囊网络是由Hinton教授提出的...
CapsNet-Tensorflow：CapsNet（Capsules Net）的Tensorflow实现，该论文在Capsule之间动态路由
02-06
基于Geoffrey Hinton的论文的的CapsNet的Tensorflow实现 笔记： 当前版本支持和数据集。 MNIST的当前测试准确度为99.64% ，而Fashion-MNIST为90.60% ，请参见部分中的详细信息 请参阅以获取多GPU支持 是一篇文章...
CapsNet-Adversarial:胶囊网络可以使用重建错误来防御对抗攻击
05-17
这些攻击在分类+编码器网络（在此情况下为胶囊网络）的白盒场景中进行，而在解码器网络的黑盒方案中进行。 这种方法可以以5％的误报率检测到约70％的对抗性攻击。 请查看以获取实施细节和结果。 该项目是我在CMP ...
可变融合的随机注意力胶囊网络入侵检测模型
01-13
为了增强检测模型的准确率与泛化性，提出了一种可变融合的随机注意力胶囊网络的入侵检测模型，通过特征动态融合，模型能够更好地捕捉数据特征；同时使用随机注意力机制，减少了对训练数据的依赖，使模型更具有泛化能力。所提模型在NSL-KDD和UNSW-NB15数据集上进行验证，实验表明，模型在2种测试集上的准确率分别达到了99.49%和98.60%。
Multi-Lane-Atrous-Feature-Fusion-Capsule-Network-with-CLAHE:具有MRI图像对比的有限自适应直方图均衡化的多车道Atrous特征融合胶囊网络
03-19
具有CLAHE的多车道功能融合胶囊网络 具有MRI图像对比的有限自适应直方图均衡化的多车道Atrous特征融合胶囊网络 原始码 用于此研究的代码是对 engGuo / CapsNet-Keras上的代码的修改。
Capsule Networks胶囊网络（二）
Joselynzhao
04-12 677
文章目录Dynamic RoutingCoefficients operate on capsule levelDynamic Routing: Routing by AgreementComparison to fully connected neural networkfront-up contentComputing input/output vectors of a capsuleRout...
CapsNet胶囊网络论文笔记
weixin_43774841的博客
11-11 2760
论文地址：Dynamic Routing Between Capsules 一、胶囊网络诞生的原因 | |   具有终结CNN的“天选之子”之称的胶囊网络到底是何方神圣？胶囊网络其实就是为了解决CNN的缺点而诞生的，我们先来看CNN的两个致命缺点：   ①CNN通过池化操作能够获得invariance，有助于分析，但是同时一些局部信息也会丢失。如果数据发生旋转、倾斜，其效果会很差。   ②CNN很解释部分与整体之间的位置关系。   当前针对问题1现有两种方法解决方案，一是数据增
动态路由胶囊网络来进行文本分类Investigating Capsule Networks with Dynamic Routing for Text Classifification
世上再无张显宗
01-03 565
https://www.cnblogs.com/d0main/p/10161252.html
【笔记】概述胶囊网络
qq_41977459的博客
04-08 859
CNN现存问题 池化操作提供了局部不变性，错误解决了需要解决的等变性问题，从而丢失了位置等信息。 平移等变性：对于一个函数，如果对其输入施加的变换也会同样反映在输出上，那么这个函数就对该变换具有等变性。 平移不变性：对一个函数，若对其输入施加的某种操作丝毫不会影响到输出，那么这个函数就对该变换具有不变性。 胶囊网络的改进 使用胶囊作为网络的基本单元 特征向量表示可视实体，对方位等信息进行...
胶囊网络（Capsual Network）
热门推荐
little_yan的博客
01-21 1万+
胶囊网络 近日学习深度神经网络了解到胶囊网络，且胶囊网络解决了CNN的一些缺点，通过查阅资料决定按照自己的理解整理一下。 1. 简单了解胶囊网络 首先胶囊网络（Capsual Network）是NeurIPS 2017的一项工作。作者首先总结了当前卷积神经网络的限制与不足：①CNN通过池化操作获得invariance，有助于分析，但是同时一些局部信息也会丢失。如果数据发生旋转、倾斜，其效果会很差 ②CNN很解释部分与整体之间的位置关系。当前针对问题1现有两种方法解决方案，一是数据增强，通过对训练样本进行旋转
详解CapsNet
风吴痕的博客
04-20 2482
参考： 原论文：Dynamic Routing Between Capsules, https://arxiv.org/abs/1710.09829 先读懂CapsNet架构然后用TensorFlow实现：全面解析Hinton的提出的Capsule lkolezhuk/CapsNetMNIST 算法结构损失函数与最优化tensorflow 实现参考： lkolezhuk/CapsNetMNIST#
transformer 中的注意力机制和胶囊网络中的动态路由：它们在本质上或许具有相似性
古月哲亭
04-18 675
https://mp.weixin.qq.com/s/RUf0igO2FShhq3c8WIgxYQ
awk命令求2023-05-29 15:22:10.845 2023-05-30 15:12:11.747时间差值
最新发布
05-30
", &tol); // allocate memory for solution ocp_nlp_out* out = ocp_nlp_out_create(solver_caps你可以使用 awk 命令来计算两个日期时间之间的时间差。 假设你有两个日期时间字符串 "ule->dims); ocp_nlp_solver_memory* solver_mem = ocp_nlp_solver_memory_create(solver_capsule->dims); 2023-05-29 15:22:10.845" 和 "2023-05-30 15:12:11 // set up simulation loop int sim_time = 1000; double x_current[NX]; double u_current[NU.747"，你可以使用以下 awk 命令计算它们之间的时间差： ``` awk 'BEGIN { start]; double x_reference[NX]; double u_reference[NU]; double x_traj[(NN+1)*NX]; double u = mktime("2023 05 29 15 22 10.845"); end = mktime("2023 05 30_traj[NN*NU]; double t_current = 0.0; double t_next; // run simulation loop for 15 12 11.747"); diff = end - start; days = int(diff / 86400); hours = int((diff % 86400) / 3600); minutes = int((diff % 3600) / 60); (int i = 0; i < sim_time; i++) { // get current state for (int j = seconds = diff % 60; printf("Time difference: %d days %02d:%02d:%02d\n", days,0; j < NX; j++) { x_current[j] = ocp_nlp_out_get(out, i, "x", hours, minutes, seconds); }' ``` 这个命令将会输出 "Time difference: 1 days 23:50:00 j); } // calculate reference trajectory t_next = t_current + T; x_reference[0] = cos("，表示两个日期时间之间相差了 1 天 23 小时 50 分钟 0 秒。 解释2*PI*t_next); x_reference[1] = sin(2*PI*t_next); x_reference[2] = -一下这个命令： - `mktime("2023 05 29 15 22 10.845")` 和2*PI*sin(2*PI*t_next); x_reference[3] = 2*PI*cos(2*PI*t_next `mktime("2023 05 30 15 12 11.747")` 用于将日期时间字符串转换); // update reference trajectory for (int j = 0; j < NN; j++) { for (int k为秒数。 - `end - start` 用于计算两个日期时间之间的时间差（单位为秒） = 0; k < NX; k++) { x_traj[j*NX+k] = ocp_nlp_out_get(out,。 - `int(diff / 86400)` 用于计算时间差中包含的天数。 - `int((diff j+i, "x", k); } for (int k = 0; k < NU; k++) { u % 86400) / 3600)` 用于计算时间差中不足一天的小时数。 - `int_traj[j*NU+k] = ocp_nlp_out_get(out, j+i, "u", k); } } for((diff % 3600) / 60)` 用于计算时间差中不足一小时的分钟数。 - `diff % 60` 用于计算时间差中不足一分钟的秒数。 - `printf("Time difference: % (int j = 0; j < NX; j++) { x_traj[NN*NX+j] = x_reference[j]; d days %02d:%02d:%02d\n", days, hours, minutes, seconds)` 用于输出时间差。 你 } // update solver parameters status = ocp_nlp_solver_set_parameter(solver_capsule, "x0", x可以根据自己的需求修改日期时间字符串和输出格式。如果你想计算更为复杂的时间差，_current); status = ocp_nlp_solver_set_parameter(solver_capsule, "p", u_reference); status = ocp_n比如跨越多个月或多年的时间差，可以使用更为高级的方式来处理日期时间。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值