point cloud
文章平均质量分 86
YuQiao0303
这个作者很懒,什么都没留下…
展开
-
[读论文]meshGPT
ShapeNetV2, 所有55个categories来train GPT;但在chair,table,bench和lamp这四个类别上finetune。AutoEncoder用了2 A100, 2 days。transformer用了4 A100, 5 days。原创 2023-12-01 17:33:52 · 3097 阅读 · 0 评论 -
[读论文]Point Scene Understanding via Disentangled Instance Mesh Reconstruction (DIMR)
暂未开源方法:2 stagestage 1: get instance输入:场景点云输出:(point-wise) semantic labels, instance center offsets, rotation angles方法:略stage 2: mesh reconstruction输出:(proposal wise) residual bounding boxes, confidence scores, latent distributions of complet meshes方法:原创 2022-07-11 10:05:29 · 303 阅读 · 0 评论 -
读论文:(nvdiffrec) Extracting Triangular 3D Models, Materials, and Lighting From Images
Project page: https://nvlabs.github.io/nvdiffrec/github项目名称叫 nvdiffrec整体看起来跟nurf一样是对单个物体(单个场景)训练的。输入: multi-view images, 相机位姿,背景分割mask(不知道光照情况)。输出: triangle meshes, texture, lighting输入: multi-view images, 相机位姿,背景分割mask(不知道光照情况)。输出: triangle meshes,原创 2022-07-06 15:23:43 · 3890 阅读 · 2 评论 -
基于体素的三维表面重建: DLGAN, 3D GAN,3D-R2N2等
输入:1或多张单个物体任意视角的图片 (encode成一个latent code)输出:3D occupancy grid (323232)loss: sum of voxel-wise 交叉熵。(虽然代码和这个有差别)官方代码:非官方torch代码:https://rohitgirdhar.github.io/GenerativePredictableVoxels/关于autoencoder的ablation study:第16页, table 2 (FIg.7 里面其实没有消融实验, su原创 2022-07-01 22:39:42 · 1557 阅读 · 0 评论 -
[读论文]DECOR-GAN
任务:粗略体素几何体的精细化输入:粗略体素几何体content作为content,精细体素几何体作为style输出:content的精细化,类似那个style。方法概述reconstruction loss 结果像style: 希望如果拿style降采样后的结果通过网络,可以生成style自己。Ld (discrininator的loss): 希望生成的结果中,原来有内容的体素,现在还是有内容。 用一个discrininator类似于把generator的结果降采样了,然后判断(降采样后为空的原创 2022-07-01 22:38:30 · 468 阅读 · 0 评论 -
[读论文] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (ECCV2020 Best Paper)
总览任务:view synthesis: 视图合成。即输入一些同一个静态3D场景的2D照片 with poses,输出任意其他角度的该场景2D图像。方法:用一个mlp网络来表示静态三维场景之后,可以从任意角度该场景渲染为2D图片(视图合成)。用神经辐射场NeRF来表示场景基本思路:从某个视角看这个场景,会看到其颜色。于是将场景表示为视角-颜色的对应关系。FΘ:(x,d)→(c,σ)F_{\Theta}:(\mathbf{x}, \mathbf{d}) \rightarrow(\m原创 2022-05-06 13:21:07 · 1274 阅读 · 0 评论 -
binvox, viewbox:体素文件与工具
参考本文:http://nicethemes.cn/news/txtlist_i39764v.htmlbinvox是一种体素文件的格式,毕竟省空间。可以用python进行读写。可视化可以在线用这个工具:https://raahii.github.io/simple_voxel_viewer/index.html原创 2022-03-01 16:16:02 · 3542 阅读 · 0 评论 -
KinectFusion 论文阅读笔记
参考:https://zhuanlan.zhihu.com/p/35894630目标实时输入RGBD视频流(用Kinect扫描仪获得)实时获得重建的mesh一些参数相机内参:相机坐标系中一点到像素平面的转换方程位姿估计pose estimation:相机坐标系到师姐坐标系的转换矩阵始终在更新全局的:点云,法向TSDF相机位姿流程Measurement (单帧求点云和法向)输入:一帧Kinect的RGBD图像,(相机内参已知)输出:vertex map(也就是点云图)V、nor原创 2021-12-21 17:39:13 · 551 阅读 · 0 评论 -
[读论文]点云表面重建: SDF, TSDF, MLS, RBF
本文是阅读以下论文的笔记:[1]密振兴, “基于深度学习的大规模点云表面重建算法研究,” 硕士, 华中科技大学, 2020.局部拟合算法在点的局部邻域内拟合隐式函数。就是说每个点的函数值之和自己的邻域有关。SDF, Signed Destance Function, 符号距离函数总结:到最邻近样本点切平面的有符号距离。输入:点云及其法向。SDF定义: R3R^3R3空间任意一点x,到其最近的样本点pi的距离,加上一个符号(法向为正,反之为负)图示:表面:φ的0等值面。缺点:对法向敏原创 2021-11-30 16:27:10 · 8534 阅读 · 2 评论 -
读论文 A search-classify approach for cluttered indoor scene understanding
基于RDF分类器的滑动增长分类:定义并计算了一些点云特征,训练了一个分类器(Randomized Decision Forest Classifier).Over Segment 场景:将整个场景分为一些patch。每个patch 是一些邻近的,发现平滑,距离不超过阈值的点。图中左一,每种颜色的点构成一个patch。计算邻接图G,图的节点是patch们;边的定义是如果两个patch的距离小于定值,就有边。图中左一。先随机选m个三patch组(patch triplets) . 每个triplets原创 2021-11-10 21:39:39 · 136 阅读 · 0 评论 -
[读论文]CVPR2019: Occupancy Networks: Learning 3D Reconstruction in Function Space
核心本文提出了一种3D图形的表示方法,并给出了得到他的网络架构和训练方法。用decision boundary 来表示物体的表面。这个方法贼好,放在2D类比,就像像素图和矢量图,矢量图是精度是无限的,但又不会耗费额外的内存。(对啊,早该想到啊,怎么会2019年才出来。。。既然2D可以有矢量图,3D就不能吗)具体一点,一个物体用一个occupancy function 来表示:注意,是实数空间,不是离散的按一定分辨率取样的。然后用一个神经网络来逼近这个函数,给每个实空间的3D点一个0-1之间原创 2021-11-03 19:23:25 · 13330 阅读 · 13 评论 -
CVPR2021| RfDNet 代码运行配环境采坑记录(Ubuntu)
试图运行以下代码:https://github.com/yinyunie/RfDNet花了很久,特此记录采坑总结。总结关于install:pip install -r requirements.txt 之前先看一下他的要求,会发现里面有的用了本地链接。这种要删掉。同时如果requirements.txt 里面都是明确指定了版本号,即用的==而非>=, 也要慎重。可能的话,先从requirements.txt里面删掉自己已经安装过的软件。尽量不要动cuda,跟硬件和驱动都有关,如果不适原创 2021-09-11 20:51:29 · 3628 阅读 · 10 评论 -
[读论文]CVPR 2021 | RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction
本文解决的问题:indoor scene construction: 输入室内点云,输出3D模型(instance 粒度)端到端Related work:Shape completion: 补全缺损的但各物体常用点层面的卷积,如pointNet等。Scene completion: 补全场景,主要挑战是物体相互遮挡inpaint depth frames: 深度图补全,常用2D CNNvoxel or TSDF grids 补全,常用3D CNN。instance reco原创 2021-09-02 22:22:22 · 825 阅读 · 2 评论 -
[个人笔记]3D点云深度学习入门
目录基本数据结构任务粒度的区分:(2D为例)常用方法和思路基本数据结构abcd分别是:点云(point cloud):(x,y,z) , (x,y,z,d), (x,y,z,r,g,b)体素(Voxel): 体素是3D空间的像素(pixel)。量化的,大小固定的点云。每个单元都是固定大小和离散坐标。多边形网格(Polygon meshes):面二维投影下面是一张体素的图。任务upsampling, reconstruction, segmentation, object detec原创 2021-08-15 23:39:21 · 2183 阅读 · 2 评论