- 博客(21)
- 收藏
- 关注
RSS订阅原创 EPOS: Estimating 6D Pose of Objects with Symmetries
EPOS1 表面面片2 网络架构2.1 语义分割2.2 所属面片分类2.3 三维点坐标回归2.4 损失函数3 对称物体4 位姿求解 EPOS本质上也是一种基于2D-3D稠密对应的6D位姿估计方法，只不过它不是直接回归得到物体图像区域某像素对应的归一化的三维坐标点，而是将物体三维模型表面分割成一定数量的面片，这样在确定2D-3D对应关系时，首先是确定二维像素点对应的面片(这是一个分类问题)，然后再回归得到三维点相对于该面片局部坐标系的坐标。 这种间接地确定2D-3D对应关系的方法还有一个好处就是考虑
2021-04-02 17:15:41
1077
1
原创 DPOD: 6D Pose Object Detector and Refiner
DPOD1 Correspondence Mapping2 Inference pipeline3 Pose Refinement DPOD (Dense Pose Object Detector)是一种基于稠密对应的6D位姿估计方法，不过它的对应不是回归图像中ROI像素对应的归一化的3D坐标，而是将物体的三维模型涂上一层各处都不一样的颜色，然后将2D-3D对应问题转化为分类问题。1 Correspondence Mapping 如图所示，将一张两通道的correspondence textur
2021-03-31 17:15:01
761
原创 CDPN
CDPN1 网络结构2 Dynamic Zoom In (DZI)3 Scale-invariant Translation Estimation (SITE)1 网络结构 本文的思路是将物体的6DoF位姿估计拆分为旋转矩阵的估计和位移向量的估计。其中，旋转矩阵的估计首先通过网络学习2D-3D的稠密对应，然后通过RANSAC PnP算法可以鲁棒性地求解旋转矩阵；而位移向量的估计主要是估计物体中心点在图像上对应的投影点和深度。 本文创新的地方在于估计旋转矩阵时，提出了DZI模块，该模块可以摆脱网络
2021-03-29 19:56:30
994
原创 CosyPose: Consistent multi-view multi-object 6D pose estimation
CosyPose1 Object candidate generation2 Object candidate matching2.1 两视图间相对位置的估计2.2 所有视图间的匹配3 Global scene refinement 本文提出了一种估计多视图多物体6D位姿的方法。主要分为两大块内容，首先是创新了一种单视图单物体的6D位姿估计网络(DeepIM)，通过该网络单独预测同一场景下每个物体相对于某一视图的位姿；然后再通过匹配不同视图找到场景中每个物体在各个视图中的对应关系，继而通过BA(Bund
2021-03-25 22:17:55
778
原创 Pix2Pose: Pixel-Wise Coordinate Regression of Objects for 6D Pose Estimation
Pix2Pose1 网络结构2 损失函数3 位姿计算 本文介绍了一种两阶段的6D位姿估计方法，第一阶段通过CNN预测图像中物体像素集对应的三维点在物体坐标系中的归一化坐标；第二阶段基于二维像素点和预测三维点的对应关系通过RANSAC-based PnP方法求解物体的位姿。 论文中还提出了一种新的损失函数Transformer loss，该损失函数可以较好地解决对称物体地位姿估计问题。1 网络结构 网络采用生成对抗式学习方式训练。其中，Generator部分采用了encoder-decoder
2021-03-24 20:26:27
1030
1
原创 Single-Stage 6D Object Pose Estimation
目录1 动机2 网络结构1 动机作者注意到现阶段大多数基于2D投影点预测的网络的优化目标是减小预测点位置和真实点位置的平均误差，因此，即使是同一个优化目标值，也可能得到两个不同的预测结果。所以作者将RANSAC-based PnP用深度神经网络代替来直接预测位姿。2 网络结构 总共分为三个阶段：每个关键点的预测点集输入到一个共享的MLP中提取特征；对于每一个关键点的点集进行最大池化操作，类似于PointNet以体现该类中各个关键点的无序特性，得到一个128维的向量，8个关键点的向量进行c
2021-03-22 21:06:56
498
原创 Segmentation-driven 6D Object Pose Estimation
目录1 物体分割2 关键点回归3 推理阶段1 物体分割 物体分割网络分支基于encoder-decoder形似的网络，encoder部分采用了YOLOv3的Backbone Darknet-53，decoder部分并没有上采样得到原图尺寸的结果，所以分割的基本单位不是像素，而是文中所说的grid cell。2 关键点回归 这里对物体6D位姿估计也是通过回归三维BBox的二维投影点坐标，不过并不是通过全局的回归，而是每个属于该物体的grid cell都进行关键点的回归。网络结构部分和分割分支一样
2021-03-22 20:46:14
236
原创 基础分类网络之ResNet
目录1 残差块(Residual block)2 代码实现3 ResNet模型1 残差块(Residual block) ResNet沿用了VGG全3×33\times 33×3卷积层的设计。残差块里首先有2个有相同输出通道数的3×33\times 33×3卷积层。每个卷积层后接一个批量归一化层和ReLU激活函数。然后我们将输入跳过这两个卷积运算后直接加在最后的ReLU激活函数前。这样的设计要求两个卷积层的输出与输入形状一样，从而可以相加。如果想改变通道数，就需要引入一个额外的1×11\times 1
2021-03-11 14:24:19
230
原创 6D位姿识别-BB8
BB81 图像中物体的定位1.1 粗分割1.2 细分割2 预测三维位姿1 图像中物体的定位 这一阶段的任务是在图像中识别物体的中心点，分为两个阶段：1.1 粗分割将尺寸为512×\times× 384的图像分割为128×\times× 128大小的图像块；将图像块输入到VGG分类网络(将最后全连接层的输出改为16×16=25616\times 16=25616×16=256)中，得到每个8×\times× 8图像块的分类结果，这里为二分类，即决定是物体还是背景；大于设定阈值的8×\time
2021-03-10 20:50:04
1373
原创 6DoF位姿估计之SSD-6D
SSD-6D1 网络模型2 损失函数3 后处理3.1 旋转对称和半对称物体3.2 位移向量计算4 评价1 网络模型SSD-6D网络模型的算法流程为：输入一张299×\times× 299的彩色图像到backbone网络(InceptionV4)中，得到6个不同尺度的特征图；接着对于每一个特征图，通过3×\times× 3的滑动窗口得到特征图上每个像素点的分类和回归结果，分类结果包括CCC种物体类别、采样得到的VVV个viewpoints(可以理解为纬度)和RRR个in-plane rotatio
2021-03-10 20:02:25
884
原创 深度学习基础知识总结一
目录1 卷积层1.1 空洞卷积2 感受野(receptive field)1 卷积层Pytorch中2D卷积层的接口为：class torch.nn.Conv2d(in_channnels, out_channels, kernal_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zero')假设输入的特征图的尺寸为(batch,Hin,Win,inchannels)(batch, H_{in},
2021-03-05 20:38:14
125
原创 cmake practice学习总结
目录1 概要2 小试牛刀2.1 内部构建(in-source build)2.1.1 准备工作2.1.2 开始构建2.1.3 内部构建与外部构建2.2 外部构建(out-of-source build)2.2.1 准备工作2.2.2 开始构建3 静态库与动态库构建3.1 建立共享库3.2 编译共享库3.3 添加静态库3.4 动态库版本号3.5 安装共享库和头文件4 使用外部共享库和头文件5 cmake语法5.1 基本语法规则5.2 cmake常用指令1 概要2 小试牛刀这一节中，我们通过一个最简单的例
2021-01-04 14:44:48
681
原创 算法笔记ch3
#include <cstdio>int month[13][2] = {{0, 0}, {31, 31}, {28, 29}, {31, 31}, {30, 30}, {31, 31}, {30, 30}, {31, 31}, {31, 31}, {30, 30}, {31, 31}, {30, 30}, {31, 31}};bool isleap(int year){ return (year % 4 == 0 && year % 100 != 0) || (y
2020-12-10 20:59:52
72
原创 OpenCV3立体视觉接口
目录1 投影2 仿射变换和透视变换3 三维姿态估计3.1 使用cv::solvePnP()计算外参3.2 使用cv::solvePnPRansac()计算外参4 立体成像4.1 使用cv::findFundamentalMat()求解基本矩阵4.2 计算极线4.3 立体标定4.3 立体校正4.3.1 非标定立体校正: Hartley算法4.3.2 已标定立体校正: Bouguet算法4.3.3 校正映射5 来自运动的结构6 二维与三维直线拟合1 投影void cv::projectPoints( cv
2020-12-02 10:12:22
332
原创 OpenCV3中相机标定接口
目录1 相机模型1.1 坐标转换1.2 Rodrigues变换2 标定2.1 用cv::findChessboardCorners()找到棋盘角点2.2 用cv::drawChessboardCorners()绘制棋盘角点2.3 圆网格和cv::findCirclesGrid()2.4 单应性2.5 相机标定3 矫正3.1 使用cv::initUndistortRectifyMap()计算矫正3.2 矫正图像3.3 使用cv::convertMaps转换矫正映射表示方式1 相机模型1.1 坐标转换\\
2020-12-01 19:50:11
346
原创 OpenCV中特征提取描述匹配接口
目录1. 关键点类cv::KeyPoint2. 关键点搜索描述抽象类cv::Feature2D3. 关键点匹配类4. 核心关键点检测算法4.1 Harris-Shi-Tomas特征检测器4.2 SIFT特征检测器4.3 SURF特征检测器4.3 ORB特征检测器1. 关键点类cv::KeyPointclass cv::KeyPoint {public: cv::Point2f pt; float size; float angle; float response; int octave;
2020-11-30 21:11:16
277
原创 立体匹配(Stereo correspondence)(一)
目录1 Two-view geometry1.1 极线约束1.2 极点2 The essential matrix2.1 本质矩阵性质2.2 本质矩阵分解3 The fundamental matrix3.1 Estimation of the fundamental matrix3.2 The eight-point algorithm4 Two-view reconstruction 在针孔相机的第5节里我们介绍了估计场景中3D点坐标的方法，但是该方法要求已知每个相机的内部参数(Intrinsic
2020-11-25 17:06:25
813
原创 二维平面成像模型(Models for transformations)(二)
目录7 Transformations between images8 Robust learning of transformations8.1 RANSAC8.2 PEaRL7 Transformations between images 前面我们学习了4种描述场景中平面上点与像平面上点对应关系的模型(Euclidean, Similarity, Affine and Homography)。现在我们换一种思路，假设有多个相机同时对场景中这一平面进行成像，每个相机像平面上的成像点和场景平面上的点
2020-11-06 15:13:27
378
原创 二维平面成像模型(Models for transformations)(一)
目录1 2D转换模型1.1 Euclidean transformation model1.2 Similarity transformation model1.3 Affine transformation model1.4 Projective transformation model2 转换模型参数的学习2.1 问题描述2.2 学习Euclidean参数2.3 学习Similarity参数2.4 学习Affine参数2.5 学习Projective参数3 利用转换模型进行推理4 学习外部参数5 学习内
2020-11-06 10:34:56
515
原创 针孔相机(The pinhole camera)
目录1 小孔成像1.1 The normalized camera1.2 Focal length parameters1.3 Offset and skew parameters1.4 Position and orientation of camera1.5 Full pinhole camera model2 齐次坐标系2.1 齐次坐标下的相机模型3 学习外部参数3.1 问题描述3.2 求解过程4 学习内部参数4.1 问题描述4.2 求解过程5 推理三维坐标点5.1 问题描述5.2 求解过程1 小孔
2020-11-03 16:23:14
1565
1
原创 线性代数回顾(多视图重建)
目录1 向量1.1 点积(Dot product)1.2 范数1.3 叉积(Cross product)2 矩阵2.1 矩阵类型2.2 矩阵运算2.3 行列式、迹和零空间3 线性变换4 奇异值分解5 典型问题5.1 Least squares problems5.2 Principal direction/minimum direction5.3 Orthogonal Procrustes problem1 向量1.1 点积(Dot product)向量aaa和bbb的点积定义为：c=aTb=∑i=
2020-11-02 20:28:16
366
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人