昌山小屋-CSDN博客

原创【模型加速】PointPillars模型TensorRT加速实验(4)

接上一篇文章PointPillars模型加速实验(3)，到目前为止我们已经成功的将PointPillars网络部分的3大组件PFN,MFN和RPN分别导出了onnx。接下来要将onnx文件build成TensorRT engine并序列化到文件中。对于一般的网络，onnx模型转TensorRT还是比较容易的，目前TensorRT官方对onnx模型的支持是最好的。官方的转换工具TensorRT Backend For ONNX(简称ONNX-TensorRT)也比较成熟了，最新版本已经到8.0.1....

2021-07-25 23:02:39 3667 2

原创【模型加速】PointPillars模型TensorRT加速实验(3)

在上一篇PointPillars模型加速实验(2)中，我们成功将PFN导出dynamic shape onnx，接下来要将MFN也导出dynamic shape onnx。MFN导出Dynamic Shape ONNX 虽然叫做MFN(Middle Feature Extractor Network)，具体到PointPillars中，实际上主要是一个scatter操作。借助PointPillars的源代码简单回顾一下MFN的内容。 class P...

2021-07-25 23:01:58 1672 7

原创【模型加速】PointPillars模型TensorRT加速实验(2)

PFN导出Dynamic Shape ONNX 在上一篇文章中讲到通过make_input函数，已经准备好了模型转化所需要的输入数据。现在先考虑将PFN(Pillar Feature Network)结构转换为onnx。因为不同点云帧的点云数量是变化的，非空Pillar的数量自然也是不同的，在考虑将PFN导出onnx模型时需要采用dynamic shape。什么意思呢?就是在将PyTorch模型转成onnx模型的时候，根据输入数据的尺寸是否固定，将onnx分成static shape和d...

2021-07-25 23:00:06 1869 2

原创【模型加速】PointPillars模型TensorRT加速实验(1)

在阅读这个系列文章之前假定你已经对PointPillars算法本身有一定的了解，并且有一个可用的Pytorch模型。这里的加速实验主要还是遵循"Pytorch-->ONNX-->TensorRT引擎-->推理"这一思路，暂不涉及使用TensorRT API手动搭建网络。实验环境系统，Ubuntu16.04 内核，Linux version 4.15.0-112-generic CUDA，10.2 Python, 3.6 Pytorch，1.4.0 ...

2021-07-25 22:56:46 3975 4

原创【异常处理】TypeError: new() got an unexpected keyword argument ‘serialized_options‘

执行pointpillars的模型转时报了一个关于protobuf的错误：nvidia@nvidia-desktop:~/hive_pointpillars/second/pytorch$ python3 hive_convert.py/home/nvidia/.local/lib/python3.6/site-packages/skcuda/cublas.py:284: UserWarning: creating CUBLAS context to get version number...

2021-07-23 16:21:01 2328 1

原创【Jetson AGX Xavier】安装Pytorch的若干方法(ing)

nvidia@nvidia-desktop:~$ jetson_release - NVIDIA Jetson AGX Xavier [16GB] * Jetpack 4.5.1 [L4T 32.5.1] * NV Power Mode: MODE_30W_ALL - Type: 3 * jetson_stats.service: active - Libraries: * CUDA: 10.2.89 * cuDNN: 8.0.0.180 * TensorRT: .

2021-07-23 10:57:38 1057

原创【玩转PointPillars】PillarScatter操作

ing....

2021-07-18 08:59:51 3706 2

原创【玩转PointPillars】点云特征提取结构PFN(PillarFeatureNet)

class PFNLayer(nn.Module): def __init__(self, in_channels, out_channels, use_norm=True, last_layer=False): """ Pillar Feature Net Layer. The Pillar Fea...

2021-07-17 21:00:04 5262 7

原创【点云处理】c++读取rosbag并转pcd和bin文件

【代码】#include <ros/ros.h>#include <pcl/point_cloud.h>#include <sensor_msgs/PointCloud2.h>#include <pcl_conversions/pcl_conversions.h>#include <pcl/point_types.h>#include <string>#include <stdlib.h>#inc...

2021-07-07 16:26:56 5169 13

原创【玩转PointPillars】Ubuntu16.04虚拟环境中安装onnx-tensorrt

之所以安装onnx-tensorrt，是因为PointPillars用Pytorch训练的模型在转onnx后，我们借助onnx-tensorrt使用tensorrt进行模型推理，以达到模型加速的目的。凡是不申明自己环境的软件部署都是耍流氓，我在尝试了多个不同的软件环境(包括操作系统，Python,CUDA等)后，在以下环境中成功了。ubuntu 18.04 cuda 10.2 python 3.6 TensorRT 7.1.3.4 protobuf 3.14.0 cmake...

2021-07-07 15:52:55 1258

原创【点云处理】图达通激光点云数据转换

刚刚拿到一批图达通雷达的激光点云数据的rosbag，准备拿去做3D目标的标注。播出来看了一眼，发现点云的坐标轴的设定与我们平常使用的坐标轴设定还不太一样。下图(1)是我直接通过rviz看到的点云图像，这样看你很难看出来是个什么东西。真实的图像应该是图(2)的样子,这样路面和山坡就看的比较清晰了。图1图(2)好了，现在就是要做一个坐标转换，转换到我们熟悉的坐标轴定义下。【代码】#include <ros/ros.h>#include <pcl/po...

2021-07-05 14:24:49 1564 2

原创【玩转PointPillars】虚拟环境中import tensorrt报错

TensorRT是由C++、CUDA、python三种语言编写成的一个库，其中核心代码为C++和CUDA，Python端作为前端与用户交互。当然，TensorRT也是支持C++前端的，如果我们追求高性能，C++前端调用TensorRT是必不可少的。导入tensorrt报错(pointpillars) zuosi@node8:~$ ipythonPython 3.6.10 |Anaconda, Inc.| (default, May 8 2020, 02:54:21) Type 'copy

2021-06-29 21:22:46 1192

原创【玩转PointPillars】kitti数据集中有关标定的若干问题

传感器外部布局Cam0 左边灰度相机 Cam1 右边彩色相机 Cam2 左边灰度相机 Cam3 右边彩色相机 Velodyne laserscanner Velodyne64线激光雷达标定参数标定文件P0: 7.070493e+02 0 6.040814e+02 0 0 7.070493e+02 1.805066e+02 0 0 0 1.e+00 0P1: 7.070493e+02 0 6.040814e+02 -3.797842e

2021-06-21 15:45:45 947 3

原创【玩转PointPillars】Ubuntu18.04上部署nutonomy/second.pytorch

【我的环境】Ubuntu18.04cuda10.2GeForce GTX 1650

2021-06-19 08:40:54 2852 19

原创【论文解读】点云深度学习网络PointNet

点云数据天然的存在无序性，直接将用于图像的网络结构用于点云效果很差。有一些研究将点云空间进行划分成规则的3D体素网格，再使用3D卷及等方式来进行处理。而PointNet这篇

2021-06-18 11:11:35 1221 1

原创【玩转PointPillars】Ubuntu18.04上部署second

(base) ➜ ~ conda create -n second python=3.6(base) ➜ ~ conda activate second

2021-06-17 17:07:45 1224 1

原创【异常处理】 Could NOT find jsk_recognition_msgs

Ubuntu18.04新装了ros，而且装的是完整版本(ros-melodic-desktop-full)，在用catkin_make编译自己的代码的时候报了下面的错误：

2021-06-10 19:24:33 5917 1

原创【点云处理】CropBox过滤指定立方体内的点云

之前为了剔除地面点，计算了全部点云的法向量。然后，先通过点云的法向量做一个粗过滤，剔除明显的非地面点，再通过随机采样一致性算法估算出地面方程。计算全部点云的法向量相对是比较耗时的操作，大部分的点一开是就对我们最后估算地平面方程没有什么用，所以先通过CropBox做一个立方体过滤，只保留对我们有意义的点。【代码】#include <ros/ros.h>#include <sensor_msgs/PointCloud2.h>#include <pcl/poin...

2021-06-07 08:50:51 2710 9

原创【点云处理】结合点云法线以及RANSAC分离地面点后再做欧式聚类

这篇实验是在上一篇ros点云处理学习(5)：点云法线联合随机采样一致性(RANSAC)分割地面点的基础上做的

2021-05-28 00:43:33 957 7

原创【点云处理】点云法线联合随机采样一致性(RANSAC)分割地面点

在之前的代码中尝试直接使用随机一致性采样来分割地面点，但是在我的实验环境下效果很差，始终没有找到地表这个平面。这里尝试一种新思路，计算点云的法线。因为地面点云的法线z值较高，通过阈值先过滤出非地面点云，再对剩下的点云进行随机一致性采样得到地面点云。【代码】#include <pcl/segmentation/sac_segmentation.h>#include <pcl/segmentation/extract_clusters.h>#includ...

2021-05-28 00:22:03 1549

原创【点云处理】pcl中使用欧式聚类

今天尝试跑一下欧式聚类，看看在路侧场景下的聚类效果。【代码】#include <stdlib.h>#include <boost/bind.hpp>#include <ros/ros.h>#include <sensor_msgs/PointCloud2.h>#include <functional>#include <pcl/point_types.h>#include <pcl_conve...

2021-05-26 23:48:57 2476 2

原创【点云处理】使用RANSAC分割地面点

谈谈这个方法实验完的感受，在我的实验场景下至少我觉得没法分离开地面点的。我用的是Horizon的雷达，而且不是水平安装，而是像下倾斜与地面有一个30度左右的夹角。#include <stdlib.h>#include <boost/bind.hpp>#include <ros/ros.h>#include <sensor_msgs/PointCloud2.h>#include <functional>#include...

2021-05-25 23:59:29 2095 2

原创【点云处理】PassThrough直通滤波器分离地面点

PassThrough这个很好理解了，就是沿着某个轴过滤点云。假如激光雷达是水平安装的，显然我们可以再Z轴方向上设定一个阈值，将低于该阈值的点云算作地面点。但是，我实验中的激光雷达并不是水平安装的，所以地面分离效果不佳。【代码】#include <ros/ros.h>#include <sensor_msgs/PointCloud2.h>#include <pcl/point_types.h>#include <pcl_conver...

2021-05-24 20:13:17 901 2

原创【点云处理】使用pcl内置的Voxel Grid Filter对原始点云进行降采样

该节点会订阅"/livox/lidar"话题的点云数据，使用PCL内置的Voxel Grid Filter对点云数据进行降采样，过滤后的结果发布到"filtered_points"上。#include <iostream>#include <thread>#include <sstream>#include <pcl/point_types.h>#include <pcl_conversions/pcl_conversio...

2021-05-22 21:32:30 1973

原创【传感器标定】路侧激光雷达和相机的标定(2)

接上篇【传感器标定】路侧激光雷达和相机的标定(1)，在上文中我提到我手上由若干相机和一个激光雷达，现在要做激光雷达和相机的联合标定，将激光雷达标定到相机。从数学原理来说就是求得激光雷达坐标系相机坐标系的外参矩阵，其中包含旋转和平移。旋转以欧拉角来表示，分别为翻滚(roll),俯仰(pitch)和偏航(yaw)。位移为tx,ty和tz。手动标定代码的过程中，通过按键控制激光雷达的旋转欧拉角以及平移量，将其转化为外参矩阵。通过外参矩阵和相机内参将点云投射到图像上去。不断调整雷达坐标系位姿在可视化...

2021-05-22 10:24:29 1247 1

搭建ZoneMinder视频监控系统可能需要到的perl的rpm包

nginx-1.0.8.tar.gz

空空如也