医学三维重建 实记

基本知识

• 基于面绘制的MC算法以及基于体绘制的 Ray-casting 实现Dicom图像的三维重建(python实现)

无论是面绘制还是体绘制都需要一定的VTK知识，所以先了解VTK的一些基础知识才能帮助你更好的掌握这些方法。

有关VTK整个数据流的过程可以用一下的例子进行类比，方便理解(虽然这个类比不是非常形象)：

当我们去看舞台剧的时候，我们坐在台下，展现在我们面前的是一个舞台，舞台上有各式的灯光，各样的演员。演员出场的时候肯定是会先化妆，有些演员可能会打扮成高富帅，有些演员可能会化妆成白富美。观众有时还会与台上的演员有一定的互动。
　　整个剧院就好比VTK程序的渲染窗口(vtkRenderWindow)；舞台就相当于渲染场景(vtkRenderer)；而那些高富帅、白富美就是我们程序中的Actor(有些文献翻译成“演员”，有些翻译成“角色”，这里我们不作翻译)；台上的演员与台下观众的互动可以看成是程序的交互(vtkRenderWindowInteractor)；演员与观众的互动方式有很多种，现场的观众可以直接上台跟演员们握手拥抱，电视机前的可以发短信，电脑、移动终端用户等可以微博关注、加粉等等，这就好比我们程序里的交互器样式(vtkInteractorStyle)；
　　舞台上的演员我们都能一一分辨出来，不会把高富帅弄混淆，是因为他们化的妆、穿的服饰都不一样，这就相当于我们程序里vtkActor的不同属性(vtkProperty)；台下观众的眼睛可以看作是vtkCamera，前排的观众因为离得近，看台上演员会显得比较高大，而后排的观众看到的会显得小点，每个观众看到的东西在他的世界里都是唯一的，所以渲染场景Renderer里的vtkCamera对象也是只有一个；舞台上的灯光可以有多个，所以渲染场景里的vtkLight也存在多个。

面绘制

MC算法

代码地址： SnorlaxSE/Medical-Image-3D-Reconstruction

i. 假定原始数据是离散的三维空间规则数据场，(断层扫描仪CT及核磁共振仪MRI产生的图像均属于这一类型)，读取这些数据，可得出这些数据的三个维度； -> 数据导入
ii. 以体元为单位来寻找三维图像中内容部分与背景部分的边界，在体元抽取三角片来拟合这个边界； -> 等值面提取
iii. 遍历所有的体元，找出其中的三角片最后集合起来组成图像中实点表面的三角网格（Mesh）； -> 数据处理：等值面拼接、几何图元（顶点、线段、面片）数据映射
iv. 建立好了三角形网格模型，对该模型进行渲染； -> 模型渲染（面绘制为几何渲染）：颜色、光照 显示效果
v. 模型交互 -> 旋转、缩放

体绘制

1）体绘制：体绘制是将三维空间的离散数据直接转换为最后的立体，图像而不必生成中间几何图元(面绘制需要), 其中心思想是为每一个体素指定一个不透明度,并考虑每一个体素对光线的透射、发射和反射作用。
2）体绘制达到的效果：体绘制的目标是在一副图片上展示空间体细节。举例而言，你面前有一间房子，房子中有家具、家电，站在房子外面只能看到外部形状(类似于面绘制的效果)，无法观察到房子的布局或者房子中的物体；假设房子和房子中的物体都是半透明的，这样你就可以同时查看到所有的细节。这就是体绘制所要达到的效果。
3）体绘制常用的算法：光线投射算法（ Ray-casting ）、错切 - 变形算法（ Shear-warp ）、频域体绘制算法（ Frequency Domain ）和抛雪球算法（ Splatting ）。其中又以光线投射算法最为重要和通用。

Ray-casting算法

光线投射算法（ Ray-casting ）原理：从图像平面的每个像素都沿着视线方向发出一条射线，此射线穿过体数据集，按一定步长进行采样，由内插计算每个采样点的颜色值和不透明度，然后由前向后或由后向前逐点计算累计的颜色值和不透明度值，直至光线完全被吸收或穿过物体。该方法能很好地反映物质边界的变化，使用Phong模型，引入镜面反射、漫反射和环境反射能得到很好的光照效果，在医学上可将各组织器官的性质属性、形状特征及相互之间的层次关系表现出来，从而丰富图像的信息。

异同比较

体绘制的原理和面绘制完全不相同。面绘制需要生成中间图元，而体绘制则是直接在原图上进行绘制，内容需求较面绘制小。每切换一个视角需要重新对所有的像素点进行颜色和透明度计算，需要时间比面绘制长。

　　
　　几何渲染管线和体绘制渲染管线对比，如上图所示；体绘制渲染线和几何渲染线的组成是比较一致的，不同在于：几何渲染，通常使用vtkActor来渲染几何图形数据；体绘制则使用vtkVolume渲染数据；在几何渲染中，通常采用vtkPolyDataMapper实现输入数据向图元的转换，在体绘制中，则采用vtkVolumeRayCastMapper，这是与体绘制算法有关的，不同的体绘制算法会有不同的Mapper类。
　　
写在最后：若本文章对您有帮助，请点个赞啦 ٩(๑•̀ω•́๑)۶