舱式显示装置，实时沉浸显示的未来

1. 摘要：

本文介绍了一种三维场景显示方法和舱式显示装置，旨在提供更好的沉浸式体验。舱式显示装置通过拼接显示面板将使用者完全包裹在其内部，用显示面板覆盖了使用者的全部视野，在显示图像的过程中，使用者只能观察到显示装置显示的图像，不能察觉到现实世界的场景，从而达到了较好的沉浸效果。该装置可以满足人们对更高沉浸效果的需求，为使用者带来更加真实的虚拟三维场景体验。通过扩大视场角和提高沉浸感，该装置将广泛应用于各种需要虚拟现实技术的领域，如游戏、电影、旅游等。

显示装置和方法已经申请专利，文末有博主微信号。

引言：

随着显示技术的飞速发展，人们对观看体验的要求也日益提高。特别是在三维场景的应用中，传统的平面显示技术已经难以满足用户对于更宽广视野和沉浸式体验的追求。虽然现有的显示技术已在一定程度上提高了水平视场角和垂直视场角，但仍受限于屏幕的物理尺寸和显示方法，无法完全覆盖用户的视野。

舱式显示装置作为一种创新的显示方式，旨在通过环绕用户的屏幕提供更为沉浸式的体验。然而，现有的显示方法在处理这种大视场角的三维场景时，往往存在图像畸变、拉伸等问题，无法有效匹配舱式显示装置的需求。同时，传统的3D游戏场景显示方法通常依赖于单一的虚拟摄像机，其视角范围有限，无法覆盖更广的视野，使得用户在体验过程中难以获得真正的沉浸感。

针对这些问题，本文提出了一种新的三维场景显示方法和舱式显示装置，旨在解决显示大视场角三维场景时的技术难题。该装置通过连续拼接的三维屏幕，实现了对水平视场角大于120度、垂直视场角大于90度的三维场景的实时呈现。用户只需通过转动身体部位，即可观察到各个区域的3D虚拟场景，从而大大提高了沉浸感和使用体验。

本文的舱式显示装置可广泛应用于游戏、影视、医学、教育、娱乐、展览、场景模拟等多个领域，为三维场景的应用提供了全新的解决方案。通过本文的研究，我们期望能够为显示技术的发展和用户体验的提升做出积极的贡献。

背景技术：

随着科技的进步，显示技术日益成为影响人们视觉体验的关键因素。特别是在三维场景的应用中，用户对于显示器的沉浸效果有着越来越高的要求。传统的平面显示屏虽然在一定程度上能够满足用户的需求，但在提供全面沉浸式体验方面仍显得捉襟见肘。

平面屏幕作为最常见的显示设备，在沉浸显示中最大的问题在于它只占据了用户视野的一部分。在三维图像的观看过程中，用户的视野中不仅包括屏幕上的内容，还涵盖了大量的现实场景。这导致用户在观看时，尽管可以将视线集中在屏幕上，但屏幕外的现实世界与屏幕内的虚拟世界并存，使得用户无法完全沉浸其中。

为了解决这个问题，研究者们开始探索更多的显示技术。

如头戴VR显示，它具有佩戴舒适性差，晕动症，交互不自然，佩戴舒适性方面因头显的重量、发热等问题可能导致长期佩戴引起不适。晕动症因设备通过左右眼偏差的图像来制造出立体效果，用户的眼睛的焦点位置与实际在生活中看物体仍有差别，长时间使用可能会导致眼睛疲劳或不适。晕动症：如果VR头显的延迟大于20ms，移动视角时画面会有明显的拖影，这容易引起人的眩晕感。交互不自然：许多VR设备的手柄设计没有照顾到人体工程学，部分游戏需要“站起来挥舞”才能游玩，这对于坐着玩游戏的用户来说可能不太友好。此外，虽然VR设备可以提供虚拟手柄等交互方式，但与真实世界的交互相比，仍然存在一定的不自然感。

如现有拼接显示屏沉浸显示，一般通过拼接3面或者5面显示面板形成一定的内部空间，显示屏之间有一定夹角。在显示图像的时候，通过预先对图像进行符合显示屏幕的畸变、拉伸，使得显示的图像具有一定平顺度。这类拼接屛沉浸显示主要用于展览、虚拟拍摄，沉浸观看等方面，而用于这些方面的图像都是通过平面图像改动得到的。而平面图像通常是一个视角的图像，拼接显示屛却具有多个显示视角，所以使得显示出来的图像视角仍有一定的局限性。

步骤：

s21，读取显示装置的配置；

s22，建立视场区域；

s23，建立子视场区域；

s24，建立虚拟摄像机阵列；

s25，虚拟摄像机阵列处理图像；

s26，传输图像到屏幕。

实现方法：

本文 应用于一种舱式显示装置。该装置内壁铺设有连续拼接的三维屏幕，该三维屏幕包围视点，且覆盖视点的水平视场角大于120度垂直视场角大于90度，覆盖视野的最大程度可覆盖视点视野水平方向360度和垂直方向360度。舱式显示装置中预设有第一坐标系以及舱式显示装置屏幕在第一坐标系中的参数，包括三维屏幕在坐标系中的三维模型信息、方位、 尺寸等信息。第一坐标系是以舱式显示装置中的第一视点为原点的空间直角坐标系。通过预设第一视点和物理空间中屏幕的尺寸信息、位置方位信息对屏幕进行三维建模，得到屏幕的三维模型。在第一坐标系中引入球坐标系，通过空间直角坐标系和球坐标系的转换关系，确定三维模型在第一坐标系的球坐标系内方位，确定预设的三维模型在球坐标系中的方位参数。如下图中所示，图中座椅表示视点的位置。

图 1

针对上述舱式显示装置本文提供了一种三维场景显示方。

实施方法摘要：本文提供的一种显示方法，该方法应用于舱式显示装置，根据所述参数在预设视点创建水平视场角大于120度、垂直视场角大于90度视场区域，将所述视场区域设置为多个子视场区域，根据每个子视场区域的方位设置该方位对应虚拟摄像机，令每个虚拟摄像机处理对应的子视场区域的三维场景，得到的每子视场区域对应的平面图像，并传输到屏幕。通过上述方法在虚拟三维场景中设置多个虚拟摄像机，使得在预设视点的可观察虚拟三维场景视野水平视场角大于120度和垂直视场角大于90度。观察者在观察该虚拟三维场景的可同时观察到多个角度的虚拟三维场景，显示的虚拟三维场景无拉伸、范围大、视角广，提高了观察者观看虚拟三维场景的沉浸感。

具体的实施步骤

步骤21，读取配置参数。

步骤s22，预设虚拟三维空间中以的第二视点为第二原点，根据第二原点创建第二坐标系。根据所述屏幕参数在第二坐标系中创建视场区域

进一步，将舱式显示装置物理空间的第一视点映射到虚拟三维空间的第二视点，并且物理空间第一坐标系映射到虚拟三维空间第二坐标系，确定第一坐标系和第二坐标系的方位一致。

图 2

进一步，将第一坐标系中的屏幕三维模型映射到第二坐标系，其中，确定屏幕三维模型在第一坐标系中的位置和在第二坐标系中的位置相对不变。

可以理解的是，视场区域的视点是第二视点。

将球坐标系代入第二坐标系，根据获取的方位参数确定三维模型在第二坐标系中的方位。

进一步，通过将三维模型在第二坐标系中的方位角值范围和仰角值范围代入视场区域的取值范围，从而确定视场区域在第二坐标系中方位角值范围和仰角值范围。

也即，视场区域在第二坐标系中的方位角和仰角取值范围等于三维模型在第二坐标系中的方位角值范围和仰角值范围。

也即，视场区域在第二坐标系中的方位角和仰角取值范围等于三维模型在第一坐标系中的方位角值范围和仰角值范围。

进一步，根据上述视场区域方位角和仰角的范围计算得到视场区域范围内空间直角坐标。

也即在第二坐标系中位于视场区域方位角取值范围和仰角取值范围内的任意点位均为视场区域范围内的点位。

本文 中，视场区域描述范围的坐标可以是球坐标，也可是空间直角坐标。

本文 中，预设视点的最远观察距离。

在第一个可选的 中，根据获取到的子屏幕在的参数，建立子视场区域。可以理解的是，子屏幕在第一坐标系中描述为一个限制了坐标范围的面。将子模型映射到第二坐标系，计算子模型每个边界线与原点形成的面，得到一个以原点为顶点子模型平面为底的棱锥体。通过延伸原点到子模型边界的面得到无限棱锥体。计算无限棱锥体三维空间的坐标范围，该坐标范围即为子视场区域的坐标范围。也即，该无限棱锥的体三维空间为子视场区域。该子模型内每个点位坐标位于该子模型对应的子视场区域坐标范围内。

如图7中的子视场区域示意图，第二坐标系原点O2与子模型b511每个边形成的平面相交后形成的一个以坐标系原点为顶点的无限棱锥体。

进一步，在第二个可选的 中，根据获取到的子屏幕的方位参数，该方位参数包括子屏幕每个边界最大和最小的方位角取值以及仰角取值，代入到第二坐标系，得到该子屏幕在第二坐标系中对应的子视场区域的方位角和仰角取值范围，通过球坐标系和空间直角坐标系的转换关系，计算得到该取值范围内的空间直角坐标范围。也即，子视场区域内的空间直角坐标范围。如图7所示，在方位角φ9到φ10以及仰角θ9到θ10的范围内，以第二坐标系原点O2为顶点和4条方位虚线形成一个无限棱锥体，4条方位虚线为θ9φ9、θ9φ10、θ10φ9、θ10φ10。

进一步，在第三个可选的 中，将视场区域的视场角的数值分为数份，得到子视

图7

场区域的视场角数值，包括:将视场区域按照视场角的数值分割成数个子视场区域，数个子视场区域的视场角数值之和等于视场区域的视场角数值。需要注意的是这里描述的视场角通常都包括水平视场角和垂直视场角。

也即，根据视场区域的方位角值范围和仰角值范围计算出每个子视场区域的方位角和仰角的取值范围，预先设置每个子视场区域的视场角数值、方位角值范围和仰角值范围，从而计算出每个子视场区域内的空间直角坐标范围。

可选的一些 中，通过将确定的子视场区域映射到第一坐标系，结合屏幕参数计算得到屏幕在第一坐标系中子屏幕分区信息。

图8

在本文的 中，如图8所示的多个子视场区域的示意图中，将所述视场区域内的三维空间设置为多个子视场区域时，相邻子视场区域的坐标是连续的。也即，相邻的子视场区域在空间上是连续的。图8中的子屏幕模型b512、b513、b514连续设置，子屏幕模型b512、b513、b514仰角取值范围为θ9～θ10，其中b512对应的子视场区域的仰角取值范围为θ9～θ10，方位角取值范围维φ10~φ11。b513对应的子视场区域的仰角取值范围θ9～θ10，方位角取值范围维φ11~φ12。b514对应的子视场区域的仰角取值范围为θ9～θ10、方位角取值范围维φ12~φ13。b525对应的子视场区域的仰角取值范围为θ10～θ11，方位角取值范围维φ10~φ11。b526对应的子视场区域的仰角取值范围为θ10～θ11，方位角取值范围维φ11~φ12。b527对应的子视场区域的仰角取值范围为θ10～θ11，方位角取值范围为φ12~φ13。

进一步，每个子视场区域按照方位和排列位置进行排序。如图8中子模型b512对应子视场区域512、子模型b513对应子视场区域513。

可以理解的是，在一些可行的案列中，子视场区域是视场区域根据三维屏幕的子屏幕特征进行分区而得到的分区，如图2中的屏幕的三维模型61，子屏幕模型是由多个正方形平面、多个等腰梯形平面和2个正8边形平面组成，其中每个子屏幕的模型的水平视场角为45度和垂直视场角为45度。图2示意图仅作为对本文的说明而不能作为对本文 的限定。

可以理解的是，在另一些可行的 案列中，根据预设子视场区域视场角的数值对视场区域进行分区，使得每个子视场区域在物理屏幕具有对应的区域，即：屏幕子分区。根据获取到的屏幕尺寸信息、分区信息，确定每个子视场区域在物理屏幕的对应区域。

可以理解的是，每个子视场区域的设置过程是：设置子视场区域的设置算法对第二坐标系内的非该子视场区域的坐标空间进行裁剪，保留属于该子视场区域内的坐标空间。

图5

如图5，子视场区域510中包含部分三维场景方块，其中方块的实线部分位于子视场区域内，方块的虚线部分位于该子视场区域外。

图6

如图6，子视场区域511中包含部分三维场景方块，其中方块的实线部分位于该子视场区域内，方块的虚线部分位于该子视场区域外。

可以理解的是：图5中的部分方块和图6中的部分方块为同一个方块在不同的子视场区域的场景。

可以了理解的是，子视场区域之间的位置以及方位相对固定，子视场区域与第二坐标系的方位和位置相对固定。

步骤S24，计算每个所述子视场区域的方位，根据所述子视场区域的方位设置虚拟摄像机，使得每个所述子视场区域设置有对应的所述虚拟摄像机，使得每个虚拟摄像机的方位与其对应子视场区域的方位相同。其中，所述子视场区域的数量与所述虚拟摄像机的数量相同。

进一步，多个虚拟摄像机形成虚拟摄像机阵列。

进一步，根据得到的每个子视场区域的方位角和仰角取值范围计算每个子视场区域的方位。所述子视场区域的方位是指在第二坐标系中的方位。

进一步，根据得到的每个子视场区域的方位角和仰角取值范围可计算得到每个子视场区域的空间直角坐标范围。

也即，根据每个子视场区的取值范围计算该子视场区域的方位。可以理解的是，这里的取值范围包括球坐标系中的方位角和仰角取值范围，也包括空间直角坐标系中的坐标范围。

进一步，每个子视场区域的方位是该子视场区域棱椎体的几何中心线的方位。

根据每个子视场区域的方位角和仰角取值范围计算得到每个子视场区域的水平视场角和垂直视场角。

进一步，根据每个子视场区域的坐标范围计算该子视场区域的水平视场角和垂直视场角。

在可选的 案例中，如图7所示的示意图中，子视场区域的水平视场角φ子等于方位角的值φ10与φ9的差，子视场区域的垂直视场角等于仰角值θ子等于θ10与θ9的差。

进一步，设置虚拟摄像机的水平视场角和垂直视场角的数值，使得每个虚拟摄像机的水平和垂直视场角数值与对应子视场区域的水平和垂直视场角数值相等。

本文中，多个虚拟摄像机按照多个子视场区域的方位以第二坐标系原点呈放射阵列设置。所述放射阵列是以第二坐标系原点在三维空间上的放射阵列设置。

进一步地，虚拟摄像机阵列的坐标系为第二坐标系，即：虚拟摄像机阵列与第二坐标系的位置相对固定，其方位和位置的值在第二坐标系中为固定值。

也即，第二坐标系的位置和方位表征虚拟摄像机阵列的方位和位置。

可以理解的是，虚拟摄像机阵列内虚拟摄像机之间的相对位置和方位固定。

在可选的 中，第二坐标系在世界坐系中产生旋转动作和平移动作时，可以理解为虚拟摄像机阵列跟随第二坐标系产生同样的旋转动作和平移动作。也即，虚拟摄像机阵列跟随视点旋的转动作和平移动作做出同样的旋转动作和平移动作。

步骤25，令每个虚拟摄像机处理对应观察空间内的虚拟三维场景，得到每个所述观察空间内虚拟三维场景对应的二维图像。其中，每个二维图像与虚拟摄像机具有一对一的对应关系，每个二维图像与观察空间具有一对一的对应关系。

可以了理解的是，这里的二维图像包括平面图像，曲面图像以及弧面图像。

进一步，设置每个观察空间的近裁剪面和远裁剪面。即在每个观察空间对应的子视场区域设置对应的近裁剪平面和远裁剪平面。可以理解的是将子视场区域的无限棱锥体通过设置近裁剪平面和远裁剪平面形成观察空间的棱台，即为建立三维裁减区域。

可以理解的是，在每个子视场区域，视点的最远观察距离等于视点到远裁减平面的距离。

进一步，每个观察空间具有与该观察空间对应的观察坐标系。

可以理解的是，虚拟摄像机处理三维场景的过程是：该虚拟摄像机对该虚拟摄像机对应观察空间内的虚拟三维场景进行投影变换，得到每个虚拟摄像机对应的二维图像。处理过程可以理解为三维场景到二维图像的处理过程。

可以理解的是，每个虚拟摄像机具有对应的变换矩阵，用于处理对应观察空间内的三维场景。

本文 中，根据每个虚拟摄像机的方位设置对应观察坐标系到第二坐标系的变换矩阵。根据视点在世界坐标系的位置和方位设置第二坐标系与世界坐标系的变换矩阵。获取虚拟三维场景的对象坐标系以及对象坐标系在世界坐标系中的位置，计算对象坐标系与世界坐标系的变换矩阵。

将上述数个变换矩阵合并计算，得到每个虚拟摄像机裁减窗口到对应观察空间内的虚拟三维场景的变换矩阵。

可以理解的是，每个子视场区域具有对应的虚拟摄像机，每个虚拟摄像机具有对应的观察空间。在一些可行的 中，根据子视场区域的参数设置虚拟摄像机的参数。每个观察空间内的虚拟三维场景经该观察空间对应的虚拟摄像机处理，得到该观察空间内三维场景对应的二维图像。

根据子视场区域与观察空间的对应关系，也即，得到每个子视场区域内三维场景对应的二维图像。

图4中的提供的三维场景与屏幕三维模型在三维空间中的坐标轴视图和立体视图的示意图，图中62是11个长方体的方块，其中9个方块呈3列3行排列。为了更清楚的理解11个方块在坐标系中的方位以及11个方块代表的三维场景与屏幕模型的位置关系，在图4中分别做出了x、y、z轴的正轴方向的视图以及立体视角的视图。

如图5、图6、图10所示，不同的子视场区域内对应的三维场景。可以理解的是：在第二坐标系即视点坐标系中，每个子视场区域为视点在对应子视场区域方向的可视区域。

步骤26，传输每个二维图像到对应的屏幕区域。

图10

进一步，确定每个虚拟摄像机裁减窗口的尺寸数值等于对应子模型的尺寸数值。

可以理解的是，屏幕区域可以是对应的子屏幕，也可以是根据子视场区域的视场角对屏幕的分区而得到的多个屏幕区域。

可以理解的是，将每个二维图像映射到对应的子模型，得到一个包围第二视点的拼接二维图像。该拼接二维图像为视场区域内三维场景按照多个子视场区域以及按照多个方位投影得到的多个二维图像拼接形成。

可以理解的是，将每个二维图像传输到每个二维图像对应的屏幕区域，使得舱式显示装置的屏幕显示每个二维图像，即舱式显示状显示拼接二维图像。

最后，展望未来，随着技术的不断进步，舱式显示装置及其显示方法将在多个领域得到广泛应用，如游戏、影视、医学、教育、娱乐、展览和场景模拟等。在游戏领域，玩家可以更加身临其境地体验游戏世界，提高游戏的互动性和沉浸感；在影视领域，观众可以享受到更加逼真的电影画面，仿佛置身于影片之中；在医学领域，医生可以利用该技术进行更加精确的手术模拟和训练；在教育领域，学生可以通过更加直观的方式学习知识，提高学习效果。

此外，随着虚拟现实和增强现实技术的不断发展，座舱式显示装置有望与这些技术相结合，为用户带来更加丰富的沉浸式体验。例如，在虚拟旅行中，用户可以通过座舱式显示装置感受到仿佛置身于异国他乡的真实感受；在远程教育中，学生可以通过该技术参加远程课堂，与老师和同学进行实时互动。

总之，舱式显示装置及其显示方法将为人们带来更加丰富多彩的沉浸式体验，为未来的显示技术发展开辟新的道路。

博主微信号：wuxian1893     微信二维码：