CV-Detection
Little_sky_jty
You chang帮助
展开
-
用pcdet跑deecamp20_liadr3-1
安装 pcdet下载整个项目git clone https://github.com/sshaoshuai/PCDet.git创建一个新的虚拟环境conda create -n deecamp python=3.7 -yconda activate deecamp安装依赖cd PCDet/pip install -r requirements.txt 安装稀疏卷积库spconv git clone https://github.com/traveller59/spc原创 2020-06-24 17:46:30 · 917 阅读 · 4 评论 -
3D目标检测深度学习方法中voxel-represetnation内容综述(三)
前言前两篇文章:3D目标检测深度学习方法中voxel-represetnation内容综述(一)、3D目标检测深度学习方法中voxel-represetnation内容综述(二)分别介绍了当前voxel-representation方法的backbone和主流的研究进展。即目前主要可以分为如下的几个方向做出研究内容的改进:(1)refine(2)loss(3)fusion(4)backboe -structure(5)others。前面的文章中已经介绍到了基于refine和loss研究工作,这一篇主要原创 2020-06-21 11:01:54 · 894 阅读 · 1 评论 -
3D目标检测深度学习方法中voxel-represetnation内容综述(二)
前言前面的一篇文章:3D目标检测深度学习方法中voxel-represetnation内容综述(一)中笔者分享了如果采用voxel作为深度学习网络输入的backbone的几个重要的模块。也就是目前比较流行的One-stage的方法SECOND的1.5版本,在KITTI和Nuscenes的榜单上都能算是19年比较经典和高效的方法,这一篇文章,笔者填一下上一篇文章的坑,上一篇文章中说到目前的方法可以按照精度和速度两个方面做出研究,其中因为voxel-representation的方法本身是高效的,因此主要在速原创 2020-05-29 08:35:53 · 962 阅读 · 0 评论 -
3D目标检测深度学习方法中voxel-represetnation内容综述(一)
前言笔者上一篇文章有介绍了3D目标检测中比较重要的数据预处理的两个方面的内容,其一是几种representation的介绍,分别是point、voxel 和grap三种主要的representation,具体的可以表示为如下(这里的grids即是voxel)。上一篇文章也分析了这三种representation的优缺点:(1)point-sets保留最原始的几何特征,但是MLP感知能力不及CNN,同时encoder部分下采样采用了FPS(最远点采样)(目前就采样方法的研究也挺多,均匀采样,随机采样或者特征原创 2020-05-29 08:34:45 · 2362 阅读 · 1 评论 -
深度学习方法中 3D目标检测 数据预处理综述
前言这一篇的内容主要要讲一点在深度学习的3D目标检测网络中,我们都采用了哪些数据预处理的方法,主要讲两个方面的知识,第一个是representation,第二个数据预处理内容是数据增广。作为本篇博文的引言,我们先给一种博主制作的比较重要的3D检测方法图鉴,如下,就笔者的个人理解,今年的CVPR出现了很多的one-stage的方法,同时出现了很多融合的方法,这里的融合有信息融合,有representation融合,同时根据近两年的发展来看,voxel-based的方法占据了主导地位,这是得益于卷积结构优越原创 2020-05-25 16:06:03 · 3173 阅读 · 0 评论 -
【文章阅读】3DVID
Brief这里是 paper这里是 code这是一篇来自北理工和百度合作的文章,目前已经开源,2020年3月份放置在arxiv上;从标题我们猜测该文采用的时空信息将多帧的点云信息融合做3D目标检测,目前的确是没有研究是通过视频流的方式做3D目标检测,不过这也要求数据集是一些连续的帧才能使得这样一个任务的完成,但是KITTI的确是没有满足这样的要求,因此作者在Nuscence上进行的实验,这里...原创 2020-04-21 19:04:16 · 1035 阅读 · 0 评论 -
【文章阅读】What You See is What You Get: Exploiting Visibility for 3D Object Detection
前言本文是一篇来自Carnegie Mellon大学和Argo AI的合作工作,目前已经被CVPR20接收(oral),该文的主要内容是基于点云的3D目标检测,与以往的研究内容不同的是,本文基于观察发现在BEV视图中无法区分差别的free的区域,如下图中(a)展示的两个红色框所示,在BEV看上去都是不包含点的free space。但是假如通过lidar的扫描的激光对该图重新绘制如图(b),其中绿...原创 2020-04-21 19:03:56 · 1736 阅读 · 2 评论 -
【文章阅读】PointPainting
前言本文来自nuTonomy自动驾驶公司,目前已经被CVPR20接收。值得注意的是,本文并不是提出了新的结构,而是在利用额外的信息融合进之前表现SoTA的网络中,表现出了检测精度的提升。文章地址 https://arxiv.org/pdf/1911.10150.pdf本文主要内容概括本文研究了一种新的image和lidar的fusion方式,在18年SOTA的baseline上都显示出精度...原创 2020-04-21 19:03:33 · 7234 阅读 · 7 评论 -
【文章阅读】SA-SSD
Brief来自CVPR2020的研究工作,也是仅仅使用Lidar数据进行3D检测的文章,CVPR2020接收的几篇文章中,采用LiDar作为网络结构输入的已经已经多于采用图像和lidar的结合,从一方面讲,lidar数据由于包含了现实场景中的几何结构而比双目信息包含更加精确的信息。同时受到的外界条件的影响也相应的越小。这是一篇来自 港理工和阿里达摩院的合作文章。这里是 paper这里是 c...原创 2020-04-21 19:03:00 · 4618 阅读 · 0 评论 -
【文章阅读+代码复现】Point-GNN
Brief在3D点云语义分割方法中,GNN已经做了很多可用的方案,但是在目标检测上依旧是采用比较传统的CNN和稀疏卷积的组合,这一篇文章是研究了图卷积在3D检测的中的用法。来自卡内基梅隆大学。已经被CVPR2020接收.这里是 paper这里是 codeAbstruct一个采用GNN设计的3D目标检测框架过程是先将点云场景编码成图结构,随后设计了一个叫point-GNN的网络结构,在...原创 2020-04-21 19:02:34 · 10869 阅读 · 4 评论 -
【文章阅读】Object as Hotspots
Brief 目前二维上的anchorfree的方法已经发展了有几年了,但是在三维检测中目前还没有关注到一个比较好实验效果的anchor-free方法(我目前还没看到吧),这一篇是我在arxiv上2020年元旦左右考试后看到的一篇,提目就很有意思,Object as Hotspots: An Anchor-Free 3D Object Detection Approach via Firing ...原创 2020-04-07 10:30:41 · 868 阅读 · 0 评论 -
Pointpillars代码阅读----predict函数篇
Brief 前面讲了大部分都是train方面的内容,但是在实际中还会在训练过程进行验证,而我目前自己的搭的网络是没有在训练时进行eval的过程。所以记录研究.eval之前拿之前训练过的一个kitti多分类的网络进行测试:evaluate--config_path=../configs/all.fhd.config--model_dir=/home/sn/pointpillars/sec...原创 2019-10-06 22:54:40 · 3054 阅读 · 2 评论 -
pointpillars代码阅读----prep_pointcloud篇
Brief这一篇内容主要是对函数prep_pointcloud进行debug和记录,这里也是dataloader的大部分内容,同时也涉及到gt的loss函数部分。作者的function breif如下: convert point cloud to voxels, create targets if ground truths exists. input_dict format: da...原创 2019-10-05 21:31:01 · 3136 阅读 · 2 评论 -
pointpillars----nuscene多分类篇
1.数据预处理先采用Mini_trainal数据集。数据分割:python create_data.py nuscenes_data_prep --data_path=NUSCENES_TRAINVAL_DATASET_ROOT --version="v1.0-trainval" --max_sweeps=10 --dataset_name="NuScenesDataset"pytho...原创 2019-09-29 17:12:50 · 4823 阅读 · 4 评论 -
pointpillars代码阅读----检测指标篇
Brief kitti衡量指标。代码文件在kitti_dataset.py中(SECOND)代码 1 detections += net(example) 。。。 result_dict = eval_dataset.dataset.evaluation(detections, ...原创 2019-09-28 18:05:28 · 4131 阅读 · 7 评论 -
pointpillars代码阅读--网络结构篇
Brief细节阅读1. voxel_generator代码 voxel_generator = voxel_builder.build(model_cfg.voxel_generator)用处用于每一个voxel_generater的生成器,内容如下,也就是对应的分割pc为voxel的参数。拥有函数 def generate(self, points, ...原创 2019-09-26 18:36:25 · 5057 阅读 · 0 评论 -
pointpillars代码阅读-----架构篇
Brief 目前已经理论知识丰富,但是实践很少,因此决定在这两周内,做以下两件事:阅读pointpillars代码,侧重点在理解怎么在nuscence上进行多目标检测的。并写笔记。完成以下网络的搭建:(也即是是voxel的检测)1 pointpillars代码1.1 简单介绍这里是 pytorch的版本这个版本已经升级到了V2.0,也就是加入了nuscence的检测任务,同时S...原创 2019-09-25 14:32:33 · 9341 阅读 · 7 评论 -
【文章阅读】STD:Sparse-to-Dense 3D Object Detector for Point Cloud
Brief很新的一篇做检测的文章,是腾讯优图和港科大的联合工作。19年7月22号放在了arxiv上面。AbstructSTD(sparse-to-dense),two-stage的方法。(1)第一阶段是对raw-data数据进行一个椭圆的anchor生成一个精确的proposal。这个工作可以做到使用较少的时间到达high recall的结果。然后,利用PointsPool将prop...原创 2019-09-22 21:25:52 · 2171 阅读 · 0 评论 -
论文概读:FPN-feature --Pyramid networks for object detection
1 摘要目前大家不爱用特征金字塔,理由是巨大的计算和存储花费我们提出了一个多层次不同scale的卷积神经网络以很少的cost来建造特征金字塔。称作FPN我们的网络结合Faster RCNN取得了COCO2016的最佳效果2 引入2.1 featurized image pyramids下图(a)表示的就是基于图像的特征金字塔,这是在对每一scale的图像分别进行特征提取,当然在检测...原创 2019-08-05 15:24:56 · 336 阅读 · 0 评论 -
kaggele-Unet-steel-defeat-detection
brief 今天算是正式第一次打kaggle比赛,记录一下学习成功。这个比赛是用于检测钢铁是否存在缺陷,给出的训练数据集中有四类的缺陷情形,当然也存在没有划痕的情形。我一个打酱油的先是研读了一份开源的kernel代码,今天对同组的同学的Unet深入的学习的一下,说一下具体思路。训练是采取的两次训练的方法,第一次先是在所有的数据集上进行训练一次,第二次再在全是缺陷的数据集上进行测试;细节方面提一下...原创 2019-08-07 21:59:48 · 2251 阅读 · 7 评论 -
【论文+代码阅读】PointPillars
Brief这篇文章整的来说是在前人的工作上做的,所以更偏向于改进。就个人感觉,目前3D方面使用2D卷积有两种形式:类似mv那种,使用对3D的投影得到其2维的图像,再使用2D CNN,这样做无疑是会出现信息损失的,另外呢,先把3D点云分割成若干个体素小块,再把点个数当做二维像素值,再使用2D CNN结构,这又只使用了密度信息,没有局部几何信息。都是不太好的。第二种呢就是先对点的局部提取点特征...原创 2019-08-24 10:16:05 · 28956 阅读 · 44 评论 -
文章阅读:F-PointNet +代码复现
Brief 这是笔者看3D检测的第二篇文章,第一篇是18年CVPR的VoxelNet,这一篇同样是18年的CVPR,第一作者就是PointNet和Pointnet++的作者,这一篇算是后续作品。二三作者也是大佬,分别是Wei Liu(SSD,DSSD),Hao Su。个人总结本文的亮点有:原始数据输入,保留了原始特征和点云不变性特征(在voxel中存在的问题)。坐标转换和对其思想的使用,...原创 2019-08-20 19:53:07 · 12339 阅读 · 1 评论 -
论文阅读:VoxelNet(3D-detection)+代码复现
Brief1 Abstruct本文直接处理点云输入,是end-to-end的网络;和以往的多视角投影的不同。采用VFE(voxel feature encoding)网络对每个体素内的点进行编码再接上3DRPN检测。不使用手工特征处理,这好比CNN加入R-CNN一样。(感叹一下。作者写文章真的强)该方法在KITTI car detection取得了sota的效果,超过了同时使用mino和...原创 2019-08-15 19:46:02 · 32134 阅读 · 34 评论 -
3D检测入门知识梳理
Brief 昨晚组会师兄把我分配到了做3D检测,所以接下来的一段时间先对3D检测的研究做一下梳理。先挖一个坑,后续慢慢填。1 基本处理方法1.1 激光 CVPR2018年的一篇文章Voxlnet,直接处理激光点云,将点云在空间上划分为均匀的voxel,再把不同的voxel点云提取Voxel Feature Encoding对物体进行分类和位置回归。具体的研读看这里1.2单目相机 YOL...原创 2019-10-29 10:20:06 · 7807 阅读 · 4 评论 -
论文阅读-PointRCNN+python3.5实现
Brief 发表在CVPR2019,还挺新的一篇文章,前面看了一些,大部分都是在候选区域如何得到上做文章,就比如第一个voxelnet直接暴力的把所有的anchor 都弄一下,不够优美,不过这一篇最大的贡献在VFE结构,但是说下去也就是个pointnet,都是线性全连接层嘛。其二是F-pointNet。这是一篇18年CVPR的文章,就比较有想法的结合了2D去先找个视锥出来,再通过这个区域实例分割...原创 2019-08-21 17:54:42 · 5689 阅读 · 25 评论 -
PointRCNN-README
PointRCNNPointRCNN: 3D Object Proposal Generation and Detection from Point Cloud[外链图片转存失败(img-5GzBTq7k-1566392767601)(https://github.com/sshaoshuai/PointRCNN/blob/master/doc/teaser.png)]Code releas...原创 2019-08-22 11:11:20 · 1500 阅读 · 2 评论 -
中科院自动化所分享----深度学习在3D点云处理的探索
Brief 这里是视频连接,很新的一个分享,B站上还有很多类似的分享会,微软亚洲研究院的分享会也很有价值。这篇博客主要的内容是对此次分享的内容做一个简单的记录,对入门的自己了解这方面有一个不错的引导。3D representationsmulti-viewvoxelmesh ---->GNNimage+deapthpoint-cloud----> gnn+cnnpo...原创 2019-08-27 20:42:27 · 1653 阅读 · 0 评论 -
【论文阅读+代码复现】Attentional PointNet
Brief 前段时间开始以为想到了一些不错的idea,实际上的实验效果也很一般了。陷入了没有想法的阶段,那就读一读比较新的papar获得一下别人的想法吧。也所谓“问渠那得清如许?唯有源头活水来”。Abstructattention机制结合pointent到3D数据检测模型IntroductionWe aim to design an efficient but simple arc...原创 2019-08-30 21:32:01 · 2139 阅读 · 1 评论 -
【论文阅读+代码复现】GSPN:Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
Brief这是一篇CVPR18上的文章,虽然表示是说的实例分割;但是听同组的同学的推荐,也可以做定位方面的事情,因此加入到了paperlist。AbstructInstead of treating object proposal as a direct bounding box regression problem, we take an analysis-by-synthesis st...原创 2019-09-01 16:27:29 · 2838 阅读 · 4 评论 -
MEGV--Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection
Brief19年8月才发表在arxiv上,算是很新的3D检测的文章。Abstruct获得了nuScence 3D detection冠军运用3D稀疏卷积提取丰富的语义信息,然后在运用class-balanced multi-head network进行3D检测主要是根据数据不平衡设计了对应的采样策略和曾广策略,使得生成一个更加平衡的数据分布。进一步,提出了一个 balanced gr...原创 2019-09-11 16:02:23 · 2038 阅读 · 2 评论 -
【19年9月】个人记录
19/8/31主要做的事情:kittiviewer的离线显示模式,但是openGL版本一直说有问题,不知道怎么解决You should use kitti viewer based on pyqt and pyqtgraph to check data before training.run ```python ./kittiviewer/viewer.py```, check fo...原创 2019-09-28 21:52:16 · 826 阅读 · 0 评论 -
【文章阅读】IPOD
Brief 贾佳亚组的工作,18年在arixv上,此外该组比较有名的工作是pointRCNN和Fast pointRCNNAbstruct输入数据是 raw data为每一个点都会生成一个proposals(很冗余),但是作者说这样可以得到high reacll和 对信息的high fidelity。记录一下,作者总是可以把一下初次认为不那么好的想法写的很优雅,这里对于很冗余的pr...原创 2019-09-22 09:53:31 · 228 阅读 · 0 评论 -
记录深度学习的detection系列过程--RCNN系列
reference做一些比较有条理的梳理,尽管网上已经有很多梳理成文的博客,不过静心沉气的理解一下也是很有必要的。方便日后在脑海里形成比较有条理的知识系统。RCNN系列过程先后经历了RCNN(region proposals +CNN)—> SPP net—> Fast RCNN—> Faster RCNN —>Mask RCNNRCNN整体架构RCNN的整...原创 2019-07-27 12:15:29 · 1107 阅读 · 0 评论