自注意力、non-local
phy12321
2019年入学研究生在读
展开
-
Estimation with Fast Feature Selection in Robot Visual Navigation
IEEE ROBOTICS AND AUTOMATION LETTERS, 2020本文方法与基于贪心算法的特征选择方案性能相近,但是其时间复杂度为线性,而贪心算法时间复杂度O(n2),对于特征数目较多,成百上千的情况,本文算法能够实时。...原创 2022-01-04 20:30:11 · 849 阅读 · 0 评论 -
【论文笔记】点云配准网络 Deep Closest Point: Learning Representations for Point Cloud Registration 2019
作者:Yue Wang, Justin M. Solomon研究机构:MIT代码链接:代码使用概率的方法可以得到soft的结果从而保证了可微性。论文解决的问题目标任务:点云配准,输入两个点云数据,寻找点云数据之间的刚性变换,输出点云之间的变换矩阵和点云的对应关系。本文提出基于深度学习的单步(无需迭代)点云配准方法Deep Closest Point,性能SOTA,提取的点云特征在未见类别和目标上获得了很好的泛化性,以及证明了局部特征对于点云配准的促进作用。现有方法的不足 & 本..原创 2020-07-14 19:29:55 · 4385 阅读 · 2 评论 -
Attention Is All You Need 2017 论文笔记
Google Brain通过self-attention,自己和自己做attention,使得每个词都有全局的语义信息(长依赖由于 Self-Attention 是每个词和所有词都要计算 Attention,所以不管他们中间有多长距离,最大的路径长度也都只是 1。可以捕获长距离依赖关系提出multi-head attention,可以看成attention的ensemble版本,不同h...原创 2020-05-02 20:30:49 · 304 阅读 · 0 评论 -
Non-local Neural Networks 2017 论文笔记
卡内基梅隆大学 FaceBook AI Research自己的想法:将经典计算机视觉中的non-local mean操作与自注意力统一起来, 这两种思想其实是有异曲同工之妙的。各种自注意力机制都是本文方法的特例,而本文的non-local 机制则是一种可泛化的基础网络模块,厉害。这里有篇讲解non-local mean思想的文章:https://www.jianshu.com/p/a9...原创 2020-04-25 00:55:24 · 459 阅读 · 0 评论