复现点云实例分割模型SoftGroup

原文链接:

https://arxiv.org/pdf/2203.01509v1.pdf

代码链接:

https://github.com/thangvubk/SoftGroup.git

本人小白一枚,只是想记录学习的一个过程,欢迎大家一起讨论

我主要是在自己的本机和服务器进行了环境配置,下面记录一下自己的配置过程以及我遇到的一些问题,以及如何训练公开数据集和训练自己的数据集。

一环境配置

1在本机ubuntu22.04的环境配置

注:这个过程是非常顺利,按照官方文档进行配置就可以了

整个配置过程如下:

1)conda create -n softgroup python=3.7

2)conda activate softgroup

3)下载softgroup代码

git clone https://github.com/thangvubk/SoftGroup.git

(注:这里建议一定要git下载源码,之前用的下载的压缩包,后面运行代码的时候会出现ops.voxel_id这个错误

AttributeError: module 'softgroup.ops' has no attribute 'voxelize_idx' · Issue #117 · thangvubk/SoftGroup · GitHub

作者回复就是下载最新版本的代码

4)conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=10.2 -c pytorch

(注:conda install pytorch cudatoolkit=10.2 -c pytorch不要用官方这个他会自动安装10.2版本对应的最高的pytorch,我当时用里这个后面会出现一些错误,建议使用指定版本的指令

5)pip install spconv-cu102

6)pip install -r requirements.txt

7)sudo apt-get install libsparsehash-dev

8)python setup.py build_ext develop

----------------------------以上就是在自己的电脑上配置过程

二、服务器上进行环境配置

和上面步骤前6步都一样,由于服务器没有sudo权限,所以主要说一下怎么在没有sudo权限下或者在windows系统下,如何安装libsparsehash-dev)

7)conda install -c bioconda google-sparsehash

8)python setup.py build_ext develop

(注在这一步上面出现了一些错误)

 问题一:ninja错误

解决方法更换gcc版本,之前在自己本机配置是用的7.5,而服务器是9.3,所以更换了服务器版本从9.3降为7.5,之后又出现了问题二

问题二:编译过程中出现找不到一个哈希表有关的文件

解决办法:是因为google-sparsehash版本问题

找到报错位置/public/fzu_fln/chenhao/yinjunyu/SoftGroup/softgroup/ops/src/datatype/datatype.h文件,对头文件进行修改

将 #include <google/dense_hash_map>换成#include <sparsehash/dense_hash_map>

9)安装成功标志

出现下面这个即代表安装成功

三在公开数据集上面进行训练与测试

我主要是在stpls3d和s3dis上面进行了测试,使用的是官方的预训练权重

1)数据预处理

安装作者的要求将对应数据集处理成指定的格式

2)下载官方预训练权重

3)测试结果及可视化

这里我就只放一下我在stpls3d上面的可视化结果(由于作者没有给这个数据集的可视化代码,我就自己写了一个)

四在自己数据集上面进行训练与测试

       我是做了两种格式一种是S3DIS一种是stpls3d。最后我是选择了STPLS3D这种格式,原因是因为同样的数据量使用S3DIS格式会出现任务被杀死,需要多卡运行。

小白第一次写,就是做个分享和学习,写的不好还请见谅。

CPC (Contrastive Predictive Coding) 是一种自监督学习算法,已经被广泛应用于点云分割任务中。下面是使用 CPC 算法进行点云分割的示例代码,仅供参考: ```python # 导入相关库 import torch import torch.nn as nn from torch.utils.data import DataLoader import numpy as np from sklearn.neighbors import KDTree import open3d as o3d # 定义 CPC 算法模型 class CPCModel(nn.Module): def __init__(self, input_shape, hidden_size, output_size): super(CPCModel, self).__init__() self.encoder = nn.Sequential( nn.Conv1d(input_shape[1], hidden_size, 1), nn.BatchNorm1d(hidden_size), nn.ReLU(), nn.Conv1d(hidden_size, hidden_size, 1), nn.BatchNorm1d(hidden_size), nn.ReLU(), nn.Conv1d(hidden_size, hidden_size, 1), nn.BatchNorm1d(hidden_size), nn.ReLU(), nn.Conv1d(hidden_size, hidden_size, 1), nn.BatchNorm1d(hidden_size), nn.ReLU(), nn.Conv1d(hidden_size, output_size, 1), nn.BatchNorm1d(output_size) ) def forward(self, x): return self.encoder(x) # 定义数据集类 class PointCloudDataset(torch.utils.data.Dataset): def __init__(self, point_clouds): self.point_clouds = point_clouds self.kdtrees = [KDTree(pc) for pc in point_clouds] def __len__(self): return len(self.point_clouds) def __getitem__(self, idx): pc = self.point_clouds[idx] kdtree = self.kdtrees[idx] # 随机选择两个点 idx1, idx2 = np.random.choice(len(pc), size=2, replace=False) # 获取两个点周围的点 _, idxs1 = kdtree.query(pc[idx1], k=64) _, idxs2 = kdtree.query(pc[idx2], k=64) # 将两个点及其周围的点组成一个 batch batch = np.concatenate([pc[idx1][None], pc[idx2][None], pc[idxs1], pc[idxs2]], axis=0) return batch.T # 加载点云数据并创建数据集实例 point_clouds = [o3d.io.read_point_cloud(f"point_cloud_{i}.ply").xyz for i in range(10)] dataset = PointCloudDataset(point_clouds) # 创建数据加载器 batch_size = 32 loader = DataLoader(dataset, batch_size=batch_size, shuffle=True) # 创建 CPC 模型和优化器 input_shape = (batch_size, 6, 64) hidden_size = 128 output_size = 128 model = CPCModel(input_shape, hidden_size, output_size) optimizer = torch.optim.Adam(model.parameters()) # 训练 CPC 模型 num_epochs = 10 for epoch in range(num_epochs): for batch in loader: batch = batch.float().transpose(1, 2) preds = model(batch) loss = -(preds[:, :, :-1] * preds[:, :, 1:]).sum(dim=-1).mean() optimizer.zero_grad() loss.backward() optimizer.step() print(f"Epoch {epoch + 1}/{num_epochs}, loss={loss:.4f}") # 使用 CPC 模型进行点云分割 for i, pc in enumerate(point_clouds): # 将点云转换成 tensor pc = torch.tensor(pc).float()[None].transpose(1, 2) # 获取点云中每个点的特征向量 features = model.encoder(pc).transpose(1, 2) # 对特征向量进行聚类 kmeans = KMeans(n_clusters=2) labels = kmeans.fit_predict(features) # 将聚类结果可视化 colors = np.zeros((len(pc[0]), 3)) colors[labels == 0] = [1, 0, 0] colors[labels == 1] = [0, 1, 0] pcd = o3d.geometry.PointCloud() pcd.points = o3d.utility.Vector3dVector(pc[0].numpy()) pcd.colors = o3d.utility.Vector3dVector(colors) o3d.visualization.draw_geometries([pcd]) ``` 需要注意的是,上述代码中使用了 Open3D 库进行点云的读取和可视化,可以根据需求进行替换。此外,为了简化示例代码,上述代码中使用了 KMeans 算法进行聚类,实际应用中应根据需求选择适合的聚类算法。
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值