IGAL九期班学习笔记-Ivan

本篇博客用于总结2018年可视化与可视分析课程中，沙特阿拉伯阿卜杜拉国王科技大学的Ivan Viola教授关于全细胞可视化与建模的报告学习笔记。通过Ivan教授的讲解我们了解到生物医疗数据的可视化的主要动因是其可以有效地帮助用户理解、探索生物医学数据，但仍然存在许多挑战。如其拥有复杂的几何构型，个体数量十分庞大，且在多尺度之间迁移十分困难。对于全细胞的可视化的任务被定义为通过计算机图形学和可视化的技术来描绘多尺度的生命形式。Ivan Viola在这里讲授了有关全细胞可视化的相关内容。

全细胞可视化和建模
    血浆中的HIV模型
    Ivan Viola教授首先通过一个对HIV血浆的可视化的案例让大家对于生物医学可视化有一个整体的理解。对生物医疗数据的可视化的主要动因是其可以有效地帮助用户理解、探索生物医学数据，但仍然存在许多挑战。如其拥有复杂的几何构型，个体数量十分庞大，且在多尺度之间迁移十分困难。对于全细胞的可视化的任务被定义为通过计算机图形学和可视化的技术来描绘多尺度的生命形式。

随后，Ivan Viola教授总结了全细胞可视化过程中的主要挑战。全细胞模型的需要渲染的对象数量很多，且不同对象的大小尺度跨度很大。同时，数量庞大的对象会造成渲染场景非常拥挤，会产生大量不可避免的遮挡现象，因此建模渲染所有对象的三维结构是一项困难的任务。针对全细胞可视化过程中的主要挑战，Ivan Viola教授列举了其在以往的工作中提出的一系列先进的技术。这些技术主要分为6个模块，有效地解决了全细胞可视化过程中特定的问题，具体如下：

1. 精确的模型构建
2. 交互式渲染
3. 多尺度可视化
4. 遮挡问题处理
5. 针对用户的导览
6. 综合型建模

对于上述技术模块，Ivan Viola教授分别做出了详细的解释。

    为了进行精确地模型构建，Ivan Viola教授提出需要集成整合分析和细胞是生物学中的多种技术，结合实际的实验结果和原子的结构信息，具体分为对于膜结构、纤维结构和可溶物三个主要部分的重建。传统的方式通常需要大量的内存，同时十分低效。而我们可以通过对算法进行一些改进，来大大提升效率，尽管产生的结果并非严格的精确。如针对膜结构的模型构建，可以考虑并非采用非周期性的纹理平铺来生成。膜结构构建算法的流程包括：选择“补丁”、平铺、删除重叠、填补空白。而针对可溶物，我们则可以采用一个不同于迭代产生的串行的低效算法，称之为3阶段的并行算法。该算法并非在内存中存储所有的几何构型，常常发生一些遮挡的问题。可以采用基于Halton序列的空间均匀分布来最小化特征的重叠。纤维的生长算法大多针对DNA和RNA的数据，我们可以通过对于随机性的衡量来限制其生长的方向。Ivan Viola教授同样将算法进行了改进，将其可以适应并行化的计算。

   对全细胞构建的模型的渲染同样可以采用多种先进的技术，颇具技巧性。Ivan Viola教授首先介绍了实例化（Instancing）的渲染方式。由于生物医学数据中经常需要渲染大量的实例，对于几何构型计算生成代价随之而累加。Ivan Viola教授通过引入计算机图形学中的Impostors概念，采用平面深度的图像替代网格中的一系列三角形。随着观察视角的变化，其朝向也同时进行变化。启发式的细节表示同样也是一种加速渲染的方式。当观测距离较远时，可以在保留整体外观的前提下每次跳过大量原子集合构型渲染，同时增加原子的尺寸。同样可以加速渲染的策略是对于待渲染部分中遮挡部分的剔除，可以通过观测深度图像分析生成数据相关的Z-缓冲存储区实现。

  针对多尺度的可视化，在光照方面，仅部分结构具有阴影效果，且所有光照在图像缓冲区计算完成，如此做可以大大缩短添加光照所需时间。多尺度数据中的物体实例在不同尺度下使用的颜色也需要谨慎考虑，在不同尺度下固定使用同样的颜色会造成较差的渲染效果。若在较小尺度下仍使用较大尺度下的颜色，则会导致颜色单一，难以区分不同的细节结构；若在较大尺度下仍使用较小尺度下的颜色，则会导致颜色混杂。多个实体的可视化中存在许多用户不感兴趣的信息，可以采用交互式的剔除来进行选择性展示。通过交互式的直方图与渲染视图的链接，用户可以有效理解当前渲染视图中各个部分的隐藏比例，动态地进行定制化的调整，并实时的反馈在渲染视图中。

  针对用户的导览主要涉及对于生物医疗数据中不同部分的标注，标注的位置可以定义为待标注元素附近的m维空间。由于数据中实例数量庞大，我们无需对于每一个实例都施加标注，因此选择最适合标注的实例成为了一个十分重要的研究问题。标注问题常常分为多个阶段。多尺度阶段使用上述类别缓存图像，物体ID缓存图像、物体深度缓存图像，及多尺度层次结构信息作为数据，输出标签层级缓存图像（label levels buffer）。具体地，依据深度缓存图像获得每个像素与屏幕间距离。对于同一类物体，距屏幕越远，将其标为越高层级的类别；距离越近，将其标为越细节层级的类别。多实例步以上述包含物体深度的标签层级缓存图像作为输入，在每类物体中选出一个作为代表作为标注对象。对同一类别的物体，对其在显著性、与屏幕距离、与边界距离、与上一帧中位置四个方面进行打分，选取四项得分乘积高者作为代表，在下一步中进行标注。

关于3D综合型建模可以通过记录用户的交互，系统自动学习选择特征并推荐同类的相似结构的个体。同时可以集成多种尺度下的信息，如介观和细胞尺度，综合地产生可视化。

参考文章：北大可视化博客：http://vis.pku.edu.cn/blog/igal2108ivanviola/