移动端实时三维重建KinectFusion-ios(2)——算法调用、算法框架

最新推荐文章于 2023-10-20 10:59:20 发布
最新推荐文章于 2023-10-20 10:59:20 发布
阅读量1k 收藏 2
点赞数 1
分类专栏： Metal 三维视觉SLAM 文章标签： ios metal slam 三维视觉重建 KinectFusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjy234sjy234/article/details/88639482
版权

       博主的源码地址：https://github.com/sjy234sjy234/KinectFusion-ios

       原论文："KinectFusion: Real-time dense surface mapping and tracking."

       本文主要介绍KinectFusion-ios中的接口调用方法，以及KinectFusion的算法框架。

一、算法调用示例

       在上一篇的博文里已经介绍过，算法调用示例的代码主要编写在ViewController.mm文件中。其中，从depth.bin读取深度帧数据流的过程，这是ios研发相关内容，不再展开介绍。这里主要解释一下KinectFusion的调用示例，主要是FusionProcessor类的初始化和调用。

       首先，是viewDidLoad方法中FusionProcessor的初始化代码

    self.fusionProcessor = [FusionProcessor shareFusionProcessorWithContext: _metalContext];
    [self.fusionProcessor setRenderBackColor: {24.0 / 255, 31.0 / 255, 50.0 / 255, 1}];
    simd::float4 cube = {-107.080887, -96.241348, -566.015991, 223.474106};
    [self.fusionProcessor setupTsdfParameterWithCube: cube];

        其中，第1行是类的初始化，第2行设置渲染展示时的背景颜色，第3、4行设置一个立方体(x, y, z, w)。这里解释一下，KinectFusion算法需要初始化一个立方体包围盒，代码中的cube就是一个预先确定的人脸立方体包围盒，这可以通过计算机视觉的方法获得，这里不展开介绍。其中，(x, y, z)表示立方体的一个顶点，w表示立方体的边长，从而确定三维空间中的一个立方体包围盒。

        然后，是读取深度数据流后执行的回调方法

- (void)stream:(NSStream *)stream handleEvent:(NSStreamEvent)eventCode {
    switch(eventCode) {
        case NSStreamEventHasBytesAvailable:
        {
            //read every frame from depth.bin, which contains one single disparity frame of 640 x 480 x float16,
            //we can easily derive depth from disparity: depth = 1.0 / disparity;
            int frameLen = PORTRAIT_WIDTH * PORTRAIT_HEIGHT * 2;
            uint8_t* buf = new uint8_t[frameLen];
            unsigned int len = 0;
            len = [(NSInputStream *)stream read:buf maxLength:frameLen];
            if(len == frameLen)
            {
                BOOL isFusionOK = [self.fusionProcessor processDisparityData:buf withIndex:m_fusionFrameIndex withTsdfUpdate: YES];
                if(isFusionOK)
                {
                    id<MTLTexture> textureAfterFusion=[self.fusionProcessor getColorTexture];
                    [self.scanningRenderer render: textureAfterFusion];
                    m_fusionFrameIndex++;
                }
                else
                {
                    NSLog(@"Fusion Failed");
                }
            }
            delete buf;
            break;
        }
        default:
            if(m_fusionFrameIndex > 0)
            {
                m_isFusionComplete = YES;
            }
    }
}

        其中，7-10行从数据流读取一帧的深度数据，单帧的大小是480x640x2 byte；13行完成一次KinectFusion的单帧处理的调用；16-17行是将当前重建的模型进行渲染展示；18行更新帧的序列号m_fusionFrameIndex。

        下面是重置FusionProcessor的操作，也是app中唯一的一个按键回调，重新进入一次全新的扫描

- (IBAction)onResetScan:(id)sender {
    if(m_isFusionComplete)
    {
        m_fusionFrameIndex = 0;
        m_isFusionComplete = NO;
        simd::float4 cube = {-107.080887, -96.241348, -566.015991, 223.474106};
        [self.fusionProcessor setupTsdfParameterWithCube: cube];
        [self setUpStreamForFile: self.streamPath];
    }
}

        第4行中，帧的序列号m_fusionFrameIndex初始化时必须为0，FusionProcessor会根据m_fusionFrameIndex的值是否为0，自动完成初始化，无需显式调用初始化方法。然后，第6-7行，重新设置新的立方体cube，就可以进入一次全新的扫描。

二、算法框架介绍

        这里，从算法实现的角度，画了一个KinectFusion算法框架的流程图如下

        

        其中，圆形框表示数据流，矩形框表示处理模块。可以看到，算法主要由4个处理模块构成：数据准备、TSDF、ICP、MarchingCube。

        之前的文章介绍过，项目的FusionProcessor文件夹里包含KinectFusion的源码。其中，所有的4个处理模块都存在其下的FusionComputer子文件夹中。并且FusionComputer下的4个子文件夹一一对应各模块的实现：FuPreProcess、FuTsdfFusioner、FuICPMatrix、FuMarchingCube。最后，FusionProcessor类的文件FusionProcessor.mm则直接放在FusionProcessor文件夹里，实现了上面算法流程图里面的整个过程，将各个模块组织成完整的KinectFusion算法。

       需要注意的是，上述的流程图，需要对照源码进行理解，并且不一定十分完备，不要过于深究。

       首先，介绍下FusionProcessor类的对外主要接口，有如下两个

- (BOOL) processDisparityData: (uint8_t *)disparityPixelBuffer withIndex: (int) fusionFrameIndex withTsdfUpdate:(BOOL)isTsdfUpdate;

- (BOOL) processDisparityPixelBuffer: (CVPixelBufferRef)disparityPixelBuffer withIndex: (int) fusionFrameIndex withTsdfUpdate:(BOOL)isTsdfUpdate;

        其中，第1行就是在前面的算法调用示例中出现过的接口调用，传入每一帧新的深度帧数据byte流，以更新重建三维场景。第3行是用于直接从iphoneX获取的深度数据类型CVPixelBufferRef的实时调用借口。实际上，两者完成的操作是一模一样的，只是传入的数据流格式略有差别，下面是两个方法的实现

- (BOOL) processDisparityData: (uint8_t *)disparityData withIndex: (int) fusionFrameIndex withTsdfUpdate:(BOOL)isTsdfUpdate
{
    id<MTLBuffer> inDisparityMapBuffer = [_metalContext.device newBufferWithBytes:disparityData
                                                                           length:PORTRAIT_WIDTH*PORTRAIT_HEIGHT*2
                                                                          options:MTLResourceOptionCPUCacheModeDefault];
    return [self processFrame: inDisparityMapBuffer withIndex: fusionFrameIndex withTsdfUpdate: isTsdfUpdate];
}

- (BOOL) processDisparityPixelBuffer: (CVPixelBufferRef)disparityPixelBuffer withIndex: (int) fusionFrameIndex withTsdfUpdate:(BOOL)isTsdfUpdate
{
    id<MTLBuffer> inDisparityMapBuffer = [_metalContext bufferWithF16PixelBuffer: disparityPixelBuffer];
    return [self processFrame: inDisparityMapBuffer withIndex: fusionFrameIndex withTsdfUpdate: isTsdfUpdate];
}

        可以看到，两个方法只是做了数据的中转处理，把深度数据统一处理成MTLBuffer数据类型，然后统一调用processFrame私有方法，实现KinectFusion的单帧处理过程。

        processFrame是KinectFusion算法框架的核心处理函数，其内容如下        

- (BOOL) processFrame: (id<MTLBuffer>) inDisparityMapBuffer withIndex: (int) fusionFrameIndex withTsdfUpdate:(BOOL)isTsdfUpdate;
{
    //pre-process
    [_fuMeshToTexture drawPoints: m_mCubeExtractPointBuffer normals: m_mCubeExtractNormalBuffer intoColorTexture: m_colorTexture andDepthTexture: m_depthTexture withTransform: m_projectionTransform * m_globalToFrameTransform];
    [_fuTextureToDepth compute: m_depthTexture intoTexture: m_preDepthMapPyramid[0] with: m_cameraNDC2Depth];
    [_fuDisparityToDepth compute: inDisparityMapBuffer intoDepthMapBuffer: m_currentDepthMapPyramid[0]];
    for(int level=1;level<PYRAMID_LEVEL;++level)
    {
        [_fuPyramidDepthMap compute: m_currentDepthMapPyramid[level - 1] intoDepthMapBuffer: m_currentDepthMapPyramid[level] withLevel: level];
        [_fuPyramidDepthMap compute: m_preDepthMapPyramid[level - 1] intoDepthMapBuffer: m_preDepthMapPyramid[level] withLevel: level];
    }
    for(int level=0;level<PYRAMID_LEVEL;++level)
    {
        [_fuDepthToVertex compute: m_currentDepthMapPyramid[level] intoVertexMapBuffer: m_currentVertexMapPyramid[level] withLevel: level andIntrinsicUVD2XYZ: m_intrinsicUVD2XYZ[level]];
        [_fuVertexToNormal compute: m_currentVertexMapPyramid[level] intoNormalMapBuffer: m_currentNormalMapPyramid[level] withLevel: level];
        [_fuDepthToVertex compute: m_preDepthMapPyramid[level] intoVertexMapBuffer: m_preVertexMapPyramid[level] withLevel: level andIntrinsicUVD2XYZ: m_intrinsicUVD2XYZ[level]];
        [_fuVertexToNormal compute: m_preVertexMapPyramid[level] intoNormalMapBuffer: m_preNormalMapPyramid[level] withLevel: level];
    }
    
    //icp
    if(fusionFrameIndex<=0)
    {
        //first frame, no icp
        NSLog(@"first frame, fusion reset");
        [self reset];
    }
    else
    {
        //icp iteration
        BOOL isSolvable=YES;
        simd::float3x3 currentF2gRotate;
        simd::float3 currentF2gTranslate;
        simd::float3x3 preF2gRotate;
        simd::float3 preF2gTranslate;
        simd::float3x3 preG2fRotate;
        simd::float3 preG2fTranslate;
        matrix_transform_extract(m_frameToGlobalTransform,currentF2gRotate,currentF2gTranslate);
        matrix_transform_extract(m_frameToGlobalTransform, preF2gRotate, preF2gTranslate);
        matrix_transform_extract(m_globalToFrameTransform, preG2fRotate, preG2fTranslate);
        for(int level=PYRAMID_LEVEL-1;level>=0;--level)
        {
            uint iteratorNumber=ICPIteratorNumber[level];
            for(int it=0;it<iteratorNumber;++it)
            {
                uint occupiedPixelNumber = [_fuICPPrepareMatrix computeCurrentVMap:m_currentVertexMapPyramid[level] andCurrentNMap:m_currentNormalMapPyramid[level] andPreVMap:m_preVertexMapPyramid[level] andPreNMap:m_preNormalMapPyramid[level] intoLMatrix:m_icpLeftMatrixPyramid[level] andRMatrix:m_icpRightMatrixPyramid[level] withCurrentR:currentF2gRotate andCurrentT:currentF2gTranslate andPreF2gR:preF2gRotate andPreF2gT:preF2gTranslate andPreG2fR:preG2fRotate andPreG2fT:preG2fTranslate  andThreshold:m_icpThreshold andIntrinsicXYZ2UVD:m_intrinsicXYZ2UVD[level] withLevel:level];
                if(occupiedPixelNumber==0)
                {
                    isSolvable=NO;
                }
                if(isSolvable)
                {
                    [_fuICPReduceMatrix computeLeftMatrix:m_icpLeftMatrixPyramid[level] andRightmatrix:m_icpRightMatrixPyramid[level] intoLeftReduce:m_icpLeftReduceBuffer andRightReduce:m_icpRightReduceBuffer withLevel:level andOccupiedNumber:occupiedPixelNumber];
                    float result[6];
                    isSolvable=matrix_float6x6_solve((float*)m_icpLeftReduceBuffer.contents, (float*)m_icpRightReduceBuffer.contents, result);
                    if(isSolvable)
                    {
                        simd::float3x3 rotateIncrement=matrix_float3x3_rotation(result[0], result[1], result[2]);
                        simd::float3 translateIncrement={result[3], result[4], result[5]};
                        currentF2gRotate=rotateIncrement*currentF2gRotate;
                        currentF2gTranslate=rotateIncrement*currentF2gTranslate+translateIncrement;
                    }
                }
            }
            if(!isSolvable)
            {
                break;
            }
        }
        if(isSolvable)
        {
            matrix_transform_compose(m_frameToGlobalTransform, currentF2gRotate, currentF2gTranslate);
            m_globalToFrameTransform=simd::inverse(m_frameToGlobalTransform);
        }
        else
        {
            NSLog(@"lost frame");
            return NO;
        }
    }
    
    if(isTsdfUpdate||fusionFrameIndex<=0)
    {
        //tsdf fusion updater
        [_fuTsdfFusioner compute:m_currentDepthMapPyramid[0] intoTsdfVertexBuffer:m_tsdfVertexBuffer withIntrinsicXYZ2UVD:m_intrinsicXYZ2UVD[0] andTsdfParameter:m_tsdfParameter andTransform:m_globalToFrameTransform];
        
        //marching cube
        int activeVoxelNumber = [_fuMCubeTraverse compute:m_tsdfVertexBuffer intoActiveVoxelInfo:m_mCubeActiveVoxelInfoBuffer withMCubeParameter:m_mCubeParameter];
        if(activeVoxelNumber==0)
        {
            NSLog(@"alert: no active voxel");
            m_mCubeExtractPointBuffer = nil;
            m_mCubeExtractNormalBuffer = nil;
            return NO;
        }
        else if(activeVoxelNumber>=m_mCubeParameter.maxActiveNumber)
        {
            NSLog(@"alert: too mush active voxels");
            m_mCubeExtractPointBuffer = nil;
            m_mCubeExtractNormalBuffer = nil;
            return NO;
        }
        else
        {
            void *baseAddress=m_mCubeActiveVoxelInfoBuffer.contents;
            ActiveVoxelInfo *activeVoxelInfo=(ActiveVoxelInfo*)baseAddress;
            for(int i=1;i<activeVoxelNumber;++i)
            {
                activeVoxelInfo[i].vertexNumber=activeVoxelInfo[i-1].vertexNumber+activeVoxelInfo[i].vertexNumber;
            }
            uint totalVertexNumber=activeVoxelInfo[activeVoxelNumber-1].vertexNumber;
            m_mCubeExtractPointBuffer = [_metalContext.device newBufferWithLength: 3 * totalVertexNumber * sizeof(float) options:MTLResourceOptionCPUCacheModeDefault];
            m_mCubeExtractNormalBuffer = [_metalContext.device newBufferWithLength: 3 * totalVertexNumber * sizeof(float) options:MTLResourceOptionCPUCacheModeDefault];
            [_fuMCubeExtract compute: m_mCubeActiveVoxelInfoBuffer andTsdfVertexBuffer: m_tsdfVertexBuffer withActiveVoxelNumber: activeVoxelNumber andTsdfParameter: m_tsdfParameter andMCubeParameter: m_mCubeParameter andOutMCubeExtractPointBufferT: m_mCubeExtractPointBuffer andOutMCubeExtractNormalBuffer: m_mCubeExtractNormalBuffer];
        }
    }
    
    return YES;
}

        博主已经注释出了4个处理模块的代码被调用所在的位置。其中，3-18行是数据准备模块，20-79行是ICP模块，83-84行是TSDF模块，86-114行是MarchingCube模块。

        这个方法的代码量较多，不在这里一次性全部展开介绍。后续的文章中，博主会分4个部分，对每一个模块的原理和代码实现做进一步的详细讲解。

大盗江洋
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
circle.rar_数值算法/人工智能_Objective-C_
08-12
1. **坐标系统和向量运算**：在处理圆弧插补时，我们需要处理二维或三维坐标系中的点。Objective-C中可以使用结构体（`struct`）来定义点的坐标，如`CGPoint`或自定义的结构。向量运算（如加法、减法、标量乘法和点...
KinectFusion实战笔记
weixin_43272109的博客
10-01 1597
介绍了KinectFusion算法和python代码。
Framebuffer编程总结，希望人人都能学会
m0_46217142的博客
11-02 2970
????Linux发烧友????0.FrameBuffer的引入☕1.LCD如何显示的原理⌛2.如何修改LCD指定的像素呢♐3.获取framebuffer基地址????4.像素绝对地址的计算????5.像素的颜色的表示????6,LCD参数的获取????7.设备的打开????8.framebuffer完整代码演示 ????0.FrameBuffer的引入 FrameBuffer是出现在 2.2.xx 内核当中的一种驱动程序接口。在Linux系统中通过Framebuffer驱动程序来控制LCD。Frame是帧
Kinect Fusion三维重建
Twilight737的博客
02-25 990
KinectFusion三维重建
从Gles、Vulkan到Metal（一）-- 数据和提交
leon
06-06 1849
一直想整理下关于移动端图形编程API的文档。如果说图形编程的内功是计算机图形学的诸原理和算法，那么外功就是实实在在的硬件API。当我们设计引擎的渲染硬件接口层的时候，要面对移动端图形API的三座大山Gles，Vulkan，Metal。这系列文档的一个主要目的是把这三大API放在一起学习，但还有一个目的是试图比较总结他们背后的共性和差异，以试图更容易理解图形API设计上的通用思想，帮助大家一起练好外功。
Kinect Fusion Basics-WPF C# Sample代码解析
weixin_34259559的博客
02-20 211
各位博友，这是我第一次写技术博客，有编辑方面的不足或者技术方面不足的，请诸位谅解。 本人这段时间，一直研读微软SDK官方样例kinect fusion代码，总体理解程序流程，在这发一篇小博客供大家交流学习。由于工程代码较长，所以本人打算直接copy代码，但加上自己理解注释，希望同该方向研究的人有所借鉴。///<summary>/// 该程序是基于C...
电信设备-基于移动客户端和二维码的三维路径引导系统.zip
09-18
2. 二维码生成与解析：根据三维路径数据生成二维码，用户扫描后，客户端解析二维码信息，调用预设的路径规划算法。 3. 路径规划：根据起点和目的地，系统自动计算最优路径，考虑电梯、楼梯、无障碍通道等因素，生成...
qrencode-3.4.4 二维三生成库
03-15
**qrencode-3.4.4 二维条形码生成库详解** qrencode是一个开源的二维条形码（主要是二维码）生成库，版本号为3.4.4。这个库提供了强大的功能，能够方便地将各种数据类型转换为符合国际标准的二维码图像。在本文中，...
ZXing-1.5.zip 条形码 二维 一维
10-21
2. **二维码**：二维码是二维条形码的一种，可以存储更多的数据，包括文字、网址、联系方式等，并且可以水平和垂直两个方向上存储信息，提高了数据密度和容错率。常见的二维码格式有QR Code、Data Matrix和Aztec ...
ios-小球降落重力感应.zip
07-11
iOS设备内置的加速度计可以感知设备在三维空间中的加速度变化，包括重力加速度。通过调用`CoreMotion`框架中的`CMMotionManager`类，开发者可以获取到这些实时数据。这些数据可以用于检测设备的倾斜、旋转等动作，...
kinectfusion程序
11-24
kinectfusion程序，亲测可以使用。重建效果很好。可以把模型保存为多种格式 obj ply stl
微软KinectFusion开源实现
04-09
经过优化的KinectFusion开源实现，无需PCL点云库，只要有opencv2.4.9即可运行。代码已经简化，适合对照论文学习算法。
Kinectfusion
10-17
KF经典入门文章，理论讲的很清楚，三维重建必备
KinectFusionV1
06-27
KinectFusion V1 《Kinect for Windows SDK 实用编程》一书示例程序 （参考代码） KinectFusion 被引用并部分修改。 在 XBOX360 上操作 添加了在 Kinect Fusion 中保存相机位置的程序 执行程序 在Release模式下运行，用''键保存，用'r'键复位，用'esc'键退出。 使用MeshLab等打开保存的CameraPose.ply（相机位置的点云）文件和mesh.ply（重建的点云）文件。 操作环境 PC (Windows8.1, RAM 8GB, CPU 2.7GHz) 视觉工作室 2013 OpenCV 2.4.9 Kinect for WINdows SDK v1.8 Kinect for Windows Developer Toolkit v1.8.0 麻省理工学院执照 麻省理工学院许可证 (MIT)
KinectFusionV2
06-27
KinectFusion V2 UnaNancyOwen 发布了 Kinect v2 的示例程序。 （参考代码） KinectFusion 被引用并部分修改。 为表面添加颜色 保存点云文件（.ply、.stl、.obj） 添加了一个程序来保存相机位置 执行程序 在Release模式下运行，用''键保存，用'r'键复位，用'esc'键退出。 （存在Debug模式下窗口名称乱码的bug） 使用MeshLab等打开保存的CameraPose.ply（相机位置的点云）文件和mesh.ply（重建的点云）文件。 操作环境 PC (Windows8.1, RAM 8GB, CPU 2.7GHz) 视觉工作室 2013 OpenCV 2.4.9 Kinect for WINdows SDK v2.0_1409 麻省理工学院执照 麻省理工学院许可证 (MIT) 版权所有 (c) 2015
【三维重建】MobileR2L：轻量化移动端三维重建（CVPR2023）
最新发布
qq_45752541的博客
10-20 999
问题由于体积渲染的过程，NeRF的推理速度非常慢，这限制了在资源受限的硬件上（如移动设备）利用NeRF的应用场景。许多研究已经开展，以减少运行NeRF模型的延迟。然而，其中大多数仍需要高端GPU进行加速或额外的存储内存，这在移动设备上都不可用。方向另一个新兴方向利用神经光场（NeLF）进行加速，因为只需在射线上执行一次正向传递来预测像素颜色。然而，要达到与NeRF类似的渲染质量，NeLF中的网络设计需要进行大量计算，这对移动设备来说并不友好。工作在这项工作中，我们提出了一种在移动设备上。
拆解KinectFusion算法之TSDF
u010244198的博客
04-15 1093
TSDF的全称是truncated signed distance function，这个算法的主要功能是为了融合(fusion)相机新观测到的深度信息或者说几何信息，当然也可以融合颜色信息甚至是其他的信息比如法向量和材质等等，总的来讲就是把时序上不断观测到的信息加权平均。 首先，要定义一个体素块的集合，这个体素就类比像素，体素是三维空间中承载一些数量值的最小单元。比如说每个体素块的尺寸选择为4mm，这里假定体素块是立方体，当然也可以是小长方体，另外假定每个坐标轴方向都是256个体素块，那么所有体素块就构成
kinectfusion解析_今日直播 | KinectFusion代码解析（下）
weixin_39856265的博客
12-21 275
原标题：今日直播 | KinectFusion代码解析(下)计算机视觉life的小伙伴们大家好，上周为大家带来的KinectFusionLib代码解析是不是听的意犹未尽呢，本周研习社为大家带来精彩的下半场直播，本周六不要错过哦！本期直播内容《KinectFusionLib代码解析(下)》主讲内容：本次分享分为上下两期，介绍最经典也是最简单的稠密SLAM系统——KinectFusion，以其中的Ki...
Kinect Fusion
08-11
微软的Kinect Fusion源码，结合相应论文学习效果更好
实时三维重建：KinectFusion与ElasticFusion算法解析
文章还对比了实时三维重建与SLAM（Simultaneous Localization And Mapping）的区别，并详细解析了KinectFusion算法的关键步骤，包括2D深度图像到3D点云的转换、ICP（Iterative Closest Point）迭代求解相机位姿、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值