P2B论文复现——点云学习记录

原创已于 2024-02-26 15:36:16 修改 · 519 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

于 2022-03-15 10:35:46 首次发布

深度学习专栏收录该内容

8 篇文章

订阅专栏

本文概述了使用h5py处理大数据、numpy版本升级、torch与torchvision的选择，以及conda环境管理。涉及pandas、shapely等库的安装，解决GPU相关问题如nvidia-smi报错，cuda的安装与卸载，以及点云处理技术、激光雷达和Python代码调试。

部署运行你感兴趣的模型镜像

//---------这里才开始知道看日期

单核gpu测试报错，添加strict=False

激光雷达了解

用python打开点云的bin文件

python代码终端调试命令

查看电脑显卡支持的cudawin11_3060显卡配置深度学习环境tensorflow-gpu2.4.0（CUDA 11.0,cuDNN 8.0,pyth - 哔哩哔哩 (bilibili.com)

cuda是11.4 ,单gpu

我的环境conda名称是p2b1.3 其实torch是1.2系列，其他环境就是下面标注的的，也许还会缺一点，直接后面补上即可，无伤大雅

安装cuda的时候，下面有那个教程，是真实有效的

代码中这个地址换了如下的，记得pip配置清华源，不然可能下不下来

pip install git+https://github.com/v-wewei/etw_pytorch_utils.git@v1.1.1#egg=etw_pytorch_utils

h5py的简介

使用h5py库读写超过内存的大数据。在简单数据的读操作中，我们通常一次性把数据全部读入到内存中。读写超过内存的大数据时，有别于简单数据的读写操作，受限于内存大小，通常需要指定位置、指定区域读写操作，避免无关数据的读写。 h5py库刚好可以实现这一功能。
h5py的优势：速度快、压缩效率高，总之，numpy.savez和cPickle存储work或不work的都可以试一试h5py！h5py文件是存放两类对象的容器，数据集(dataset)和组(group)，dataset类似数组类的数据集合，和numpy的数组差不多。group是像文件夹一样的容器，它好比python中的字典，有键(key)和值(value)。group中可以存放dataset或者其他的group。”键”就是组成员的名称，”值”就是组成员对象本身(组或者数据集)，下面来看下如何创建组和数据集。

pip install h5py==2.10.0

查看有什么版本

目前觉得2.10.0可能是作者安装的

numpy

报错和版本低解决办法

numpy版本问题_Dontla的博客-CSDN博客_numpy版本推荐

目测版本是1.7.0附近

pip install numpy==1.7.0

torch和torchvision

这里我选择torch==1.2.0 torchvision==0.4.0

pprint无需安装，python自带

enum34

直接用最新的2020/5月

future

版本用future==0.18.0

//---------这里才开始知道看日期

pandas

pandas==1.1.0

shapely

shapely==1.6.0

matplotlib

matplotlib==3.1.0

pomegranate

pomegranate==0.12.0

ipykernel

ipykernel==5.1.1

jupyter

jupyter==1.0.0

imageio

imageio==2.6.0

pyquaternion

pyquaternion==0.9.8

conda基本操作

# 配置指定python版本的环境
conda create -n env_name python=2.7
conda create --name env_name python=3.5 numpy scipy

# 列出所有的环境
conda env list
conda info -e
conda info --envs

# 激活环境
conda activate env_name

# 退出环境
conda decativate env_name

# 删除环境
conda remove -n env_name --all

# 环境中的包的管理
conda install pkg_name -n env_name
conda uninstall pkg_name -n env_name
conda remove pkg_name -n env_name

# 复制环境
conda create --name new_env_name --clone old_env_name

# 分享环境
# 把已有的环境分享给其他人，A电脑到B电脑
# A电脑上的操作
conda activate target_env
conda env export > target_env.yml

# 从A copy yml文件，B电脑上的操作
conda env create -f target_env.yml

激活环境

source active 环境名称

克隆环境

conda create -n BBB --clone AAA

加速

vim ~/.pip/pip.conf

timeout =6000
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
use-mirrors =true 
mirrors =http://pypi.douban.com/simple/ 
trusted-host =pypi.douban.com

nvidia-smi指令报错

nvidia-smi指令报错：Failed to initialize NVML: Driver解决 - 知乎

nvidia卸载

sudo apt-get remove cuda

sudo apt autoremove

sudo apt-get remove cuda*

conda搭建环境 - 知乎

cuda安装与卸载，真实有效

NVIDIA CUDA Toolkit 11.0 安装与卸载(Linux/Ubuntu) - 知乎

cuda对应的torch

Previous PyTorch Versions | PyTorch

卸载

sudo /usr/local/cuda/bin/cuda-uninstall
再把目录里删除

下载cuda10.0

wget https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda_10.0.130_410.48_linux

sudo sh cuda_10.0.130_410.48_linux.run

查看gpu个数

n_gpu = torch.cuda.device_count()

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

torch.cuda.empty_cache()

torch.cuda.get_device_name(0)

返回gpu名字，设备索引默认从0开始；

单核gpu测试报错，添加strict=False

model.load_state_dict(checkpoint['state_dict'], strict=False)

原文解决加载模型错误方法总结RuntimeError: Error(s) in loading state_dict for Net: Missing key(s) - 灰信网（软件开发博客聚合）

激光雷达了解

激光雷达点云采集原理以及在自动驾驶中的应用（中文字幕）_哔哩哔哩_bilibili

用python打开点云的bin文件

python 读取点云bin文件 - 知乎

点云就是一个一个点构成，每个点都是一个坐标，如果带有颜色，则也可以做分类

python代码终端调试命令

python -m pdb hello.py

这样程序会自动停在第一行，等待你进行调试，命令参数如下

断点相关命令：
设置断点： (Pdb) b 8 #断点设置该文件的第8行（b即break的首字母）
显示所有断点：(Pdb) b #b命令，没有参数，显示所有断点
删除断点：(Pdb) cl 2 #删除第2个断点（clear的首字母）

Step Over：(Pdb) n #单步执行，next的首字母
Step Into：(Pdb) s #step的首字母
Setp Return：(Pdb) r #return的首字母在执行到函数内部时；执行代码到return完毕Resume：(Pdb) c #continue的首字母直接全部执行完毕----->直到遇到断点
Run to Line：(Pdb) j 10 #运行到地10行，jump的首字母

(Pdb) p param #查看当前param变量值
(Pdb) l #查看运行到某处代码
(Pdb) a #查看全部栈内变量

(Pdb) h #帮助，help的首字母
(Pdb) q #退出，quit的首字母