深度学习-点云基础网路-分类
Little_sky_jty
You chang帮助
展开
-
用pcdet跑deecamp20_liadr3-1
安装 pcdet下载整个项目git clone https://github.com/sshaoshuai/PCDet.git创建一个新的虚拟环境conda create -n deecamp python=3.7 -yconda activate deecamp安装依赖cd PCDet/pip install -r requirements.txt 安装稀疏卷积库spconv git clone https://github.com/traveller59/spc原创 2020-06-24 17:46:30 · 919 阅读 · 4 评论 -
【文章阅读】SVGA-Net
Brief前段时间还在等PV-RCNN的开源呢,现在在NIPS20上来了一个比PV-RCNN精度还高不少的SVGA-Net:。看文章风格应该是NIPS20了。来自电子科技大学,目前还没有开源。文章链接 https://arxiv.org/pdf/2006.04356.pdfAbstractvoxel-based的方法对Local-pointnets的局部之间不能建立联系,。所以本文从这个点出发建立了Voxel-Graph Attention Network。该网络首先在球型体素内构造局部grap原创 2020-06-17 21:46:44 · 968 阅读 · 0 评论 -
机器学习知识整理(持续更新)
前言这是作业1. MAP MLE Beyas估计1.1 个人常见不解问题汇总1. 先验分布 后验分布 似然函数等先验分布p(θ)p(\theta)p(θ) 即根据以前的经验知识知道的,模型决定参数的可能性的概率取值。即是模型可能具有的分布后验分布p(θ∣X)p(\theta|X)p(θ∣X):已知数据X估计模型参数的概率分布似然函数p(X∣θ)p(X|\theta)p(X∣θ):根据参数分布(参数未知量)来确定数据X表达(可能已知)。似然函数和概率函数都采用p(X∣θ)p(X|\th原创 2020-06-01 19:22:35 · 369 阅读 · 0 评论 -
【文章阅读】PointPainting
前言本文来自nuTonomy自动驾驶公司,目前已经被CVPR20接收。值得注意的是,本文并不是提出了新的结构,而是在利用额外的信息融合进之前表现SoTA的网络中,表现出了检测精度的提升。文章地址 https://arxiv.org/pdf/1911.10150.pdf本文主要内容概括本文研究了一种新的image和lidar的fusion方式,在18年SOTA的baseline上都显示出精度...原创 2020-04-21 19:03:33 · 7261 阅读 · 7 评论 -
【文章阅读】SA-SSD
Brief来自CVPR2020的研究工作,也是仅仅使用Lidar数据进行3D检测的文章,CVPR2020接收的几篇文章中,采用LiDar作为网络结构输入的已经已经多于采用图像和lidar的结合,从一方面讲,lidar数据由于包含了现实场景中的几何结构而比双目信息包含更加精确的信息。同时受到的外界条件的影响也相应的越小。这是一篇来自 港理工和阿里达摩院的合作文章。这里是 paper这里是 c...原创 2020-04-21 19:03:00 · 4632 阅读 · 0 评论 -
CVPR2020|3D目标检测点云检测新网络 PV-RCNN
Brief 很长一段时间没有记录一些学习的东西了,一部分原因是因为研一的考试真的多,还有一部分是没有看上一些值得去写博客的文章。今天这一篇是19年12月30日放到arxive上的,其实在CVPR2020截止后就一直在关注这一篇文章何时会放出来,毕竟在KITTI的3D检测上高居榜首,并且远远的超过了第二名。如下:是很有必要研读一下,这篇文章出自港科和商汤的工作。目前还没有开源...原创 2020-01-06 11:49:09 · 12185 阅读 · 0 评论 -
【文章阅读】 PI-RCNN
Brief一篇AAAI2020的工作,目前KITTI官网的效果是排在第31名。(19年11月16日)不得不说就19年而言,实验效果并不能说是非常的出重,但是从侧面说明该方法的新颖程度应该是有的。其次这是浙大和阿里合作的一篇文章,通讯是Xiaofei He也表明了牛组的能力。overview:Abstruct该方法是一个二维语义分割和三维Lidar检测fusion的方法,作者的主要...原创 2020-01-06 09:43:08 · 1473 阅读 · 1 评论 -
【文章阅读】Submanifold Sparse Convolutional Networks
Brief 最近看到很多的卷积结构都采用了subm层,很好奇这是个什么结构,然后无意间看到了这一篇文章,应该就是目前比较通用的结构。例如目前在榜单前3名的par2par^2par2的如下结构,采用的就是这种单元结构搭建的。Abstruct目前的卷积网络都是用于对密集表达的处理,但是很多数据都是稀疏的;因此作者提出的稀疏卷积操作用于处理稀疏点,作者指出该就够的卷积仅仅是在子流行结构上操作,而...原创 2019-10-27 13:13:07 · 4444 阅读 · 1 评论 -
【文章阅读】IoU Loss for 2D/3D Object Detection
Brief最近在实验中发现,3D检测的精度和cls_loss的关系非常的大,一般来说,按照SECOND的代码训练下降到cls_loss大致为0.8左右时,会有一个不错的效果,在验证集上可以达到0.88左右的精度(对car-easy)而言,但是当loss继续向下降的时候,反而得不到刚好的效果,改了一些网络结构,加了一些特征,发现改结构的效果并不如从特征或者其他方面着手容易,因此研究别人如何通过LO...原创 2019-10-25 15:47:19 · 5671 阅读 · 12 评论 -
pointpillars代码阅读----稀疏卷积篇
Brief最近在很多文献中都看到有稀疏卷积和流行卷积的形式,如下图的来自商汤和港科大的Part-A2 Net(19arxiv),这里的u-net实际上的绿色框表示的是submanifold卷积层,蓝色框表示的是稀疏上采样层,而黄色表示的是稀疏卷积层。在代码中如何使用作者首先是定义一个block:每一个的block实际上是两层的sub加上一层的sp,如下: SubMConv3d(nu...原创 2019-10-24 21:57:43 · 6039 阅读 · 0 评论 -
【文章阅读】3D Backbone Network for 3D Object Detection
Brief一篇arxiv19上的文章,感觉真的挺新的,总结了一下最新的用于3D检测的backbone,其中重要的积累了一些稀疏卷积的基础架构,刚好最近也在啃稀疏卷积的3D形式,包括了两部分(submanifold和sp层)。该文章的结构都是3D卷积的结构,和二维CNN无关这一篇文章的另外一个版本是《Three-dimensional Backbone Network for 3D Objec...原创 2019-10-24 21:48:08 · 1616 阅读 · 1 评论 -
【文章阅读】Patch Refinement - Localized 3D Object Detection
Brief这一篇文章发表在NIPS2019上,目前(19/110/18)依然在KITTI数据集上是在保持了car、easy的第一名,而且看标题应该不是架构上的优化,应该是一种在trick上的使用,像是回到三维上进行的优化,一样,最近的3D文章中还有IOU_IOSS的使用的,也是很值得一读的。这里是 paperAbstructtwo-stage的方法patch refinement是把三...原创 2019-10-18 15:23:33 · 780 阅读 · 1 评论 -
KITTI如何submit自己的模型效果
背景KITTI在val上是没有label的需要按照官方的格式上传数据。Submission instructions: For the object detection and orientation estimation as well as 3D object detection and bird’s eye view benchmark, all results must be pro...原创 2019-10-18 09:30:24 · 5575 阅读 · 35 评论 -
Pointpillars代码阅读----predict函数篇
Brief 前面讲了大部分都是train方面的内容,但是在实际中还会在训练过程进行验证,而我目前自己的搭的网络是没有在训练时进行eval的过程。所以记录研究.eval之前拿之前训练过的一个kitti多分类的网络进行测试:evaluate--config_path=../configs/all.fhd.config--model_dir=/home/sn/pointpillars/sec...原创 2019-10-06 22:54:40 · 3059 阅读 · 2 评论 -
pointpillars代码阅读----prep_pointcloud篇
Brief这一篇内容主要是对函数prep_pointcloud进行debug和记录,这里也是dataloader的大部分内容,同时也涉及到gt的loss函数部分。作者的function breif如下: convert point cloud to voxels, create targets if ground truths exists. input_dict format: da...原创 2019-10-05 21:31:01 · 3151 阅读 · 2 评论 -
pointpillars代码阅读----疑惑篇
在创建Voxelnet的时候,没有初始化的名字,如何找到对应的网络函数的:使用: net = get_voxelnet_class(model_cfg.network_class_name)(。。。)函数定义:def get_voxelnet_class(name): global REGISTERED_NETWORK_CLASSES assert name i...原创 2019-10-01 21:26:29 · 2148 阅读 · 0 评论 -
pointpillars----nuscene多分类篇
1.数据预处理先采用Mini_trainal数据集。数据分割:python create_data.py nuscenes_data_prep --data_path=NUSCENES_TRAINVAL_DATASET_ROOT --version="v1.0-trainval" --max_sweeps=10 --dataset_name="NuScenesDataset"pytho...原创 2019-09-29 17:12:50 · 4840 阅读 · 4 评论 -
pointpillars代码阅读----检测指标篇
Brief kitti衡量指标。代码文件在kitti_dataset.py中(SECOND)代码 1 detections += net(example) 。。。 result_dict = eval_dataset.dataset.evaluation(detections, ...原创 2019-09-28 18:05:28 · 4137 阅读 · 7 评论 -
pointpillars代码阅读----loss篇
LOSS分类回归损失分类损失方向预测损失预测的dict为:preds_dict{box_preds[3,8,160,132,7][3,8,160,132,7][3,8,160,132,7],cls_pred[3,8,160,132,4][3,8,160,132,4][3,8,160,132,4],dir_pred[3,8,160,132,2][3,8,160,132,2][3,8,1...原创 2019-09-27 20:55:15 · 2052 阅读 · 0 评论 -
pointnet-cvpr2017-3D_point_machine_learning
Abstructwe design a novel type of neural network that directly consumes point clouds called pointenet, provides a unified architecture for applications range from object classsfication, part segmenta...原创 2019-07-12 15:46:51 · 537 阅读 · 0 评论 -
point_cloud_segmentation的发展过程
Brief 入学第一个月的后半段除了帮老师翻译和跑了一些low_level的视觉程序,主要工作都在代码学习,detection系列,点云处理看了一些,但是并没有很深入。这篇blog主要是梳理一下前段时间看过的一些关于点云处理方面的深度学习的文章 。 肯定会有一些错误的理解和不足的地方,后面体会到了继续填这个坑。 目前将3D数据引入深度学习领域的处理方法大概可以分成四类:Multi-v...原创 2019-08-07 16:37:06 · 3198 阅读 · 0 评论 -
文章阅读-VoxNet: A 3D Convolutional Neural Network for Real-Time Object Recognition
Brief 为了好好整理一下3D视觉在深度学习方面的过程,做好这个系列,这一篇文章是在体素(voxel)上发布比较早的文章,应该是第一篇,后续第二篇是来自princeton大学的3D shapeNets。发布在15年的视觉顶会。这也是一篇发在15年的文章,在IEEE/RSJ,机器人方面顶会IROS。这里是 paper这里是 codeAbsract当时的很多方法要么不在机器人领域使用3...原创 2019-08-10 10:29:45 · 10401 阅读 · 0 评论 -
【论文+代码阅读】PointPillars
Brief这篇文章整的来说是在前人的工作上做的,所以更偏向于改进。就个人感觉,目前3D方面使用2D卷积有两种形式:类似mv那种,使用对3D的投影得到其2维的图像,再使用2D CNN,这样做无疑是会出现信息损失的,另外呢,先把3D点云分割成若干个体素小块,再把点个数当做二维像素值,再使用2D CNN结构,这又只使用了密度信息,没有局部几何信息。都是不太好的。第二种呢就是先对点的局部提取点特征...原创 2019-08-24 10:16:05 · 28975 阅读 · 44 评论 -
文章阅读:F-PointNet +代码复现
Brief 这是笔者看3D检测的第二篇文章,第一篇是18年CVPR的VoxelNet,这一篇同样是18年的CVPR,第一作者就是PointNet和Pointnet++的作者,这一篇算是后续作品。二三作者也是大佬,分别是Wei Liu(SSD,DSSD),Hao Su。个人总结本文的亮点有:原始数据输入,保留了原始特征和点云不变性特征(在voxel中存在的问题)。坐标转换和对其思想的使用,...原创 2019-08-20 19:53:07 · 12354 阅读 · 1 评论 -
论文阅读-PointRCNN+python3.5实现
Brief 发表在CVPR2019,还挺新的一篇文章,前面看了一些,大部分都是在候选区域如何得到上做文章,就比如第一个voxelnet直接暴力的把所有的anchor 都弄一下,不够优美,不过这一篇最大的贡献在VFE结构,但是说下去也就是个pointnet,都是线性全连接层嘛。其二是F-pointNet。这是一篇18年CVPR的文章,就比较有想法的结合了2D去先找个视锥出来,再通过这个区域实例分割...原创 2019-08-21 17:54:42 · 5692 阅读 · 25 评论 -
中科院自动化所分享----深度学习在3D点云处理的探索
Brief 这里是视频连接,很新的一个分享,B站上还有很多类似的分享会,微软亚洲研究院的分享会也很有价值。这篇博客主要的内容是对此次分享的内容做一个简单的记录,对入门的自己了解这方面有一个不错的引导。3D representationsmulti-viewvoxelmesh ---->GNNimage+deapthpoint-cloud----> gnn+cnnpo...原创 2019-08-27 20:42:27 · 1656 阅读 · 0 评论 -
【论文阅读+代码复现】Attentional PointNet
Brief 前段时间开始以为想到了一些不错的idea,实际上的实验效果也很一般了。陷入了没有想法的阶段,那就读一读比较新的papar获得一下别人的想法吧。也所谓“问渠那得清如许?唯有源头活水来”。Abstructattention机制结合pointent到3D数据检测模型IntroductionWe aim to design an efficient but simple arc...原创 2019-08-30 21:32:01 · 2146 阅读 · 1 评论 -
【论文阅读+代码复现】GSPN:Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
Brief这是一篇CVPR18上的文章,虽然表示是说的实例分割;但是听同组的同学的推荐,也可以做定位方面的事情,因此加入到了paperlist。AbstructInstead of treating object proposal as a direct bounding box regression problem, we take an analysis-by-synthesis st...原创 2019-09-01 16:27:29 · 2845 阅读 · 4 评论 -
MEGV--Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection
Brief19年8月才发表在arxiv上,算是很新的3D检测的文章。Abstruct获得了nuScence 3D detection冠军运用3D稀疏卷积提取丰富的语义信息,然后在运用class-balanced multi-head network进行3D检测主要是根据数据不平衡设计了对应的采样策略和曾广策略,使得生成一个更加平衡的数据分布。进一步,提出了一个 balanced gr...原创 2019-09-11 16:02:23 · 2046 阅读 · 2 评论 -
【文章阅读】Fast Point R-CNN
Brief 果然二维检测上的RCNN系列会出现在三维检测上,CVPR19年上有一篇Point RCNN的paper。在上个月(19年8月8日)这篇文章就被放上了arixv上,由港中文的贾佳亚教授实验室完成,下面看看具体是怎么做的。Abstruct该方法既采用了voxel表达,又结合了原始点云的形式,是一个two-stage的方法。第一个阶段采用voxel作为数据的输入,只采用几层轻量级的...原创 2019-09-14 16:33:38 · 3910 阅读 · 2 评论 -
【19年9月】个人记录
19/8/31主要做的事情:kittiviewer的离线显示模式,但是openGL版本一直说有问题,不知道怎么解决You should use kitti viewer based on pyqt and pyqtgraph to check data before training.run ```python ./kittiviewer/viewer.py```, check fo...原创 2019-09-28 21:52:16 · 827 阅读 · 0 评论 -
【文章阅读】STD:Sparse-to-Dense 3D Object Detector for Point Cloud
Brief很新的一篇做检测的文章,是腾讯优图和港科大的联合工作。19年7月22号放在了arxiv上面。AbstructSTD(sparse-to-dense),two-stage的方法。(1)第一阶段是对raw-data数据进行一个椭圆的anchor生成一个精确的proposal。这个工作可以做到使用较少的时间到达high recall的结果。然后,利用PointsPool将prop...原创 2019-09-22 21:25:52 · 2171 阅读 · 0 评论 -
pointpillars代码阅读-----架构篇
Brief 目前已经理论知识丰富,但是实践很少,因此决定在这两周内,做以下两件事:阅读pointpillars代码,侧重点在理解怎么在nuscence上进行多目标检测的。并写笔记。完成以下网络的搭建:(也即是是voxel的检测)1 pointpillars代码1.1 简单介绍这里是 pytorch的版本这个版本已经升级到了V2.0,也就是加入了nuscence的检测任务,同时S...原创 2019-09-25 14:32:33 · 9351 阅读 · 7 评论 -
pointpillars代码阅读--网络结构篇
Brief细节阅读1. voxel_generator代码 voxel_generator = voxel_builder.build(model_cfg.voxel_generator)用处用于每一个voxel_generater的生成器,内容如下,也就是对应的分割pc为voxel的参数。拥有函数 def generate(self, points, ...原创 2019-09-26 18:36:25 · 5061 阅读 · 0 评论 -
PointNet++:
reference这篇文章发表在17年的nips上,正好之后的工作可能是在3D点云分割上,因此这一篇文章还是算比较基础需要认真研读的。摘要以前很少有在点云的deep learning方面的研究,PointNet是这方面的先驱。然而,pointnet并不能捕获由点所在的度量空间所决定的局部结构,这会限制模型的细腻度识别能力以及对于复杂场景的泛化能力。在此次工作上,我们引入了一个分层的神经网络,...原创 2019-07-30 21:18:39 · 3548 阅读 · 0 评论