weixin_42812109的博客

SKD: Keypoint Detection for Point Clouds Using Saliency Estimation一.问题1.要解决什么问题？两大类配准方法：密集配准，基于关键点配准密集配准：每个点都匹配，容易受环境中遮挡的影响基于关键点配准：只匹配稀疏的关键点，需要环境中存在一定的重复性其中基于关键点配准：（1）关键点的可靠性。采用detect-then-describe的方法。关键点不仅由几何关系决定，还与自身特征描述子决定（但其实几何关系也是点自身的部分特征，也就是说其

一．摘要深度学习在三维点云中的应用由于缺乏顺序性而具有挑战性。受PointNet的点嵌入和dgcnn的边缘嵌入的启发，我们对点云分析任务提出了三个改进。首先，我们引入了一种新的特征关注神经网络层FAT层，它结合了全局点特征和局部边缘特征来生成更好的嵌入。其次，我们发现在两种不同形式的特征聚合(最大池和平均池)中应用相同的注意力机制，可以获得比单独使用任何一种更好的性能。第三，我们观察到残差特征重用在此设置下更有效地在层间传播信息，使网络更容易训练。我们的体系结构在点云分类任务上取得了最先进的结果，如在Mo

Patch2Pix: Epipolar-Guided Pixel-Level Correspondences一.问题1.要解决什么问题？（1）用于视觉定位的经典匹配管道通常包括三个步骤：(i)局部特征检测和描述、(ii)特征匹配和(iii)离群值拒绝。最近出现的correspondence网络虽然在单个网络内执行这些步骤，但由于内存瓶颈，匹配分辨率较低。（2）传统方法容易受到极端的光照变化，运动模糊和重复和纹理弱的场景的影响。因此，最近的研究建议使用神经网络检测和描述局部特征，基于学习的特征描述子在

一．四个问题1.要解决什么问题？度量空间不完美（即correspondence中存在错误匹配的点对）以及室内外空间都会存在一些重复的场景以及噪声的影响，都会造成对应点对寻找正确的比例比较低。所以对correspondence进行修剪，删除outlier的correspondence是基于特征的点云注册的关键步骤之一。2.用什么方法解决？在本文中，作者提出了一种新的深度神经网络，它明确地结合了空间一致性来对oulier correspondence进行剪枝。首先，提出了一个由特征和空间一致性共同加权

一.四个问题1.要解决什么问题？目前的三维目标检测方法基本都是沿袭了二维目标检测的工作流程：提特征然后加RPN（region proposal network）。因此，为了利用二维探测器中的架构，它们经常将三维点云转换为常规网格（即体素网格或鸟瞰视图图像），或者依靠二维图像中的检测来提出3D框，而体素化或者网格化将导致信息细节丢失。此外在特征提取阶段，尽管Point net++在3D分类和分割任务中取得了很大的成功，但是很少有人研究如何在3D检测中利用好它，一种Naive的思想是根据2D检测的流程，在

Fully Convolutional Geometric Features一.四个问题1.要解决什么问题？从三维扫描或点云中提取几何特征是配准、重建和跟踪等应用中的第一步。现有的基于学习的特征提取算法基于兴趣点所在表面及临近点的空间分布，提取基本的二维、三维几何属性作为兴趣点特征信息，如角偏差，法线，点分布等，并通过多层感知器或三维卷积映射到一个低维特征空间。这种特征提取算法复杂度低、运算效率高、内存消耗少，但领域尺寸的选择对识别效果影响较大。这就产生了几个问题：所有先前的方法都需要提取一

一.四个问题1.要解决什么问题？一个成功的点云配准通常依赖于通过有区分性的3D局部特征建立鲁棒的稀疏匹配。尽管基于学习的三维特征描述子发展迅速，但三维特征检测器却很少受到关注，更没有考虑到这两个任务的联合学习。2.用什么方法解决？点云配准的目的是寻找两个具有重叠(overlap)点云直接最佳变换，这是SLAM等应用的基本任务。而局部关键点的检测和描述是获得鲁棒点云对齐结果的两个关键。对于关键点检测，随机选择一组点进行特征描述，是一个选择。这会带来以下几个问题: (1)随机选择的点可能位于非

论文概述 1. Kernel Point Convolution 左边为2D卷积示意图，在对图像的做卷积时，kernel可以理解成一些带权重的规则分布的2D位置（网格/窗口）。推广到点云，因为点云表示是不规则的，所以作者用了一个带权重的点集（kernel points）类比2D kernel，不同的地方是输入点云要和 kernel points 里面的每一个点的权重矩阵相乘然后通过一个相关系数(correlation coefficient) 加权求和。相关系数是通过输入点和kernel point的相

一.四个问题要解决什么问题？ 从激光雷达等设备中获取的点云往往有所缺失（反光、遮挡等），这给点云的后续处理带来了一定的困难，也凸显出点云补全作为点云预处理方法的重要性。点云补全（Point Cloud Completion）用于修补有所缺失的点云（Point Cloud），从缺失点云出发估计完整点云，从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体，在三维物体的检测识别领域应用广泛。 用什么方法解决？ 文章提出一种基于深度学习的点云分形网络PF-Net。PF-Net采用了一些自己的思路

Modeling Local Geometric Structure of 3D Point Clouds using Geo-CNN一．四个问题1.要解决什么问题？人们对局部区域点间几何结构的显式建模关注有限。 为了解决这个问题，我们提出了GeoCnn，它将一个称为GeoConv的通用卷积操作应用于每个点及其局部邻域。 在提取中心及其相邻点之间的边缘特征时，捕获点之间的局部几何关系。所以，这篇论文的目的是对3D点云进行处理，提取具有几何信息的特征。用什么方法解决？ 文中提出 Ge.

3D点云数据与几何基元拟合，可以得到3D点云数据中潜在的几何信息，从而将低层次的点数据转换为高层次的结构化信息，这为下游应用程序处理3D数据提供了基础。长期以来，基于RANASC的方法已是基元拟合问题的标准方法，但是这类方法需要细致地调整一些输入参数，因此无法很好地扩展应用到具多种形状的大型数据集中。本文提出了一个有监督的基元拟合网络(SPFN)和一个端到端的神经网络，该网络能够在无用户控制的情况下，鲁棒地检测不同尺度、不同数量的基元。该网络用真实基元表面和输入点的隶属关系来进行监督。该网络没有直接预测基元

一. 基础知识 1. 为什么要进行图像分割 景物一般由目标组成，反映在图像中是众多的区域，为把区域分开，要进行图像分割研究。 2. 图像分割属于图像分析的范畴图像处理、图像分析与理解的区别 图像处理 图像分析与理解 输出内容 图像 数值、符号 目的 主要是增强视觉效果 让计算机理解图像内容 研究方法 理论上比较成熟 缺乏普适的方法 具体问题具体分析 许多问题还很难解决 ...

一. 数学形态学概述 数学形态学是分析几何形状和结构的数学方法，它建立在几何代数的基础上，使用集合论方法定量描述目标几何结构的学科，具有完备的数学基础。（注意：以下介绍二值图像，取深1、浅0。） 基本思想：用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的 结构元定义：设有两幅图像B，A。若A是被处理对象，B用来处理A则称B为结构元SE（Structure Element）。结构元可定义为研究一幅图像中感兴趣特性所用的小集合或子图像，通常都是一些比...

一. 数据的冗余（） 1. 冗余（视觉系统的敏感度有限，人最多可辩认出种颜色，而色彩图像一般每个像素用24位表示，即可表示种颜色）：空间冗余：视频图像通常与他周围的某些像素在亮度和色彩上相同或非常相近，存在一定相关性 时间冗余：运动图像中，相邻两帧图像之间有较大的相关性 信息熵冗余：一个图像的灰度级编码使用了多于实际需要的编码符号 结构冗余：图像存在的纹理或图元的相似结构 知识冗余：一些图像理解问题与某些先验知识有着相当大的相关性。根据已有的知识，对某些图像中所包含的物体，可以构造其基..

一. 彩色基础 光波是一种电磁波，人眼可以识别的光波范围是从380nm到780nm 三色学说：（红绿色盲就是缺少了中波段视锥细胞，对绿色不敏感）假设有三种视觉感受器，分别对红绿蓝三种颜色敏感 当光线同时作用在这三种感受器上时，三个感受器产生的兴奋程度不同 不同兴奋程度的组合将产生不同的颜色感觉，三种感受器处于等强度兴奋时，便产生白色感觉 三色学说的优点：能充分说明混色现象 是现代色度学基础，颜色定量描述与测量都以该理论为基础 现代的彩色显示设备、彩色印刷、摄影都是...

一. 从人工智能开始 通过复制一个人脑来实现人工智能在目前阶段是不切实际的，人工智能是计算机科学的一个分支，主要研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统 主要领域：感知：模拟人的感知能力，对外部刺激信息进行感知和加工。主要研究领域包括语音信息处理、计算机视觉等 学习：模拟人的学习能力，主要研究如何从样例或与环境交互中进行学习。主要研究领域有监督学习、无监督学习和强化学习 认知：模拟人的认知能力，主要研究领域包括知识表示、自然语言理解、推理规划、决策等...

第五章 图像复原一. 图像退化/复原的模型 图像增强：利用人的视觉系统特性，取得较好的视觉效果，不一定逼近原始图像 图像复原：针对图像退化原因进行补偿，要有一定的先验知识，利用逆过程复原图像，尽可能接近原图像 图像退化：图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理方法不完善，导致图像质量下降。主要原因有：成像系统的像差、畸变、带宽有限 几何失真：由于成像器件拍摄姿态和扫描非线性 灰度失真：光学系统或成像传感器本身特性不均匀 运动模糊：...

第四章 频率域滤波一. 基本概念 时域：描述数学函数或物理信号与时间的关系，例如一个信号的时域波形可以表达信号随着时间的变化。 频域：自变量是频率，即横轴是频率，纵轴是该频率信号的幅度。也就是通常说的频谱图。频谱图描述了信号的频率结构及频率与该频率信号的关系。 空域：以空间坐标作为变量进行的研究，如从二维空间角度看待图片上点与点之间关系并进行处理就是空域图像处理。 图像域变换：将图像从空间域变换到其他域如频率域的数学变换。使图像处理问题简化，有利于图像特征提取。...

接灰度变换和空间滤波1四 空间滤波（主要涉及图像平滑，图像锐化，卷积运算，系数值）1.原理：建立一个模板，并在待处理的图像中逐点移动模板。对每一个像素点按照滤波器算法进行计算。2.空间相关和卷积 相关：滤波器模板移过图像并计算每个位置的乘积之和。因此，相关可以寻找图像中的匹配区域。区域重合时，相关函数归一化后的值最大。 卷积：与相关相似，但滤波器要先旋转180°。二维情况下，旋转180°的操作是沿一个坐标轴f转翻模板，再沿另一个坐标轴再次翻转模板 假定有一个大小...

一. 一些基本灰度变换 1. 线性变换 k=1，b=0时，输入输出相同 k=1，b!=0时，所有像素灰度值上移或下移 k为负值，暗区域变亮，亮区域变暗（当k=-1，图像求反，s=L-1-r） （1）分段线性灰度变换：将感兴趣灰度范围扩展，相对抑制不感兴趣灰度范围 （2）灰度级分层（灰度分割） （3）比特平面分层（位图分割） 图像中的像素值由8位表示，其中该图像中所有像素...