影像拍攝及呈現能力的提升

• VR的主要呈现技术有两个途径：VR视频和3D渲染。VR视频适合于现实场景和人物的拍摄，适用范围较小。但是VR视频容易标准化，容易推广与应用。

• 目前的VR视频其实只是360全景视频，它与用户的互动较为简单，不能提供视角的自由移动。

• 今天3D渲染技术已经非常成熟，能根据交互信息而实时进行渲染，很灵活，适合于各种场景。它的缺点是：实现过程比较复杂，需要复杂算法和庞大数据支撑，才能模拟出令人沉浸的虚拟世界。

• 尽管VR全景拍摄技术与难度，与传统拍摄有一些不同。但是最关键的是内容的策划必须巧妙地与VR特点相融合，才能提高VR视频的质量。例如，多轴线的叙事模式，画面的布景、层次等细节上的设计功夫。 

• 360度影像的技术包括：录制技术、录制设备、分享平台和UI等。

• 例如，如果我现在于Facebook上播放一段360度影片，那么影片如何生成呢?

• 这影片如何生成是个问题，也就是<录制>技术和设备了。

• 让用户可以通过手机摄像头获得高分辨率的360度影像内容等。

• 除了拍摄360度图像之外，还要让用户无缝添加视频，并最好能在数分钟内处理完成，瞬间与珍惜的人分享。

 

 

• 传统的多媒体给用户一个框框。

   

    (Ref：https://www.youtube.com/watch?v=n3b8hZ5NV2E)

• 而VR给予的是一个完整的世界，带来沉浸式体验(即临场感)。

   

• 搭配了VR头盔之后，人们就可以左右上下、自由环顾了。

   

        (头前倾)                   (左顾) 

  

        (右看)                   (再右看)

 

               <<< 有框VR vs. 無框VR >>>             

• 我一向把AR区分成为有框的AR，与无框AR，两大类

• 与手机、Pad结合的AR是有框AR，也是古典AR

• 与VR或MR类似，头戴眼镜的AR，是无框、3D的AR，像HoIoLens就属于此类

• 例如，AR+教育(培训)本是天作之合，然而天本无边(无框)，有利于激发(motivate)学生不着边际的大跨度想象力(钱学森用语)，可惜传统Pad的框局限了想象，学生注意力很容被框外事物所引诱!

• 有框，意味着〈我〉在框外，看得见边框。

• 无框，意味着〈我〉在框内，看不见边框。

• 请您领会一个故事: 法国巴黎有一座铁塔，在兴建铁塔之前，有一位著名文学创作家，天天鼓吹反对兴建该塔，因为铁塔瘦骨嶙峋，很丑又天天开了家窗就不得不看见它，他将无法继续创作下去。

• 后来巴黎铁塔兴建起来了，这位名作家，却每天都去光临该铁塔，到铁塔上咖啡馆坐在窗边创作写小说。

• 请问您，这位名作家既然讨厌铁塔，为什么又天天去铁塔上创作呢?

 

• 近年来，360全景摄像机进步快速，其应用范围也愈来愈广，例如将它安装于无人机上，就能进行360全景空拍了。

    

              (全景摄像机)              (无人机上的全景摄像机)

• 360全景影片可以全方位的拍录现场情况，还能以3D立体的方式呈现出来，让人们沉浸其中，享受身莅其境的临场感。

• 拍摄出来的360全景影片( Panoramic Video)，观众可以上下左右各种环顾。

    

• 360全景视频不但可以全方位的记录某时某地的现场情况，更可以让我们将某个地方的实景用三维立体的方式表现出来，让观察者能够沉浸其中，是目前常见的VR解决方案。

• 用户可以环顾周围环境，但是却无法与场景进行交互，不能做到像真实生活中的经验那样，真正触摸或改变视频中的任何东西。360°全景视频资料是一种新型的拍摄和呈现技术。就大多数人而言，360°全景视频的体验却是人们VR体验的第一次尝试。一般预料，全景视频的数量将会呈现爆炸式成长。

• 360视频就是通过摄像头捕捉到拍摄对象的全方位3D景象。这些3D影视资料通过VR头盔播放，能够给用户带来强烈的沉浸式体验，只是这些影视资料并不是虚拟合成的，而是真实的影像资料拼接而成的。

• 360全景视频(例如VR电影)的轴心是观众的眼睛，故事必须沿着每一个观众的视线推进。这里面蕴藏着巨大的挑战、机会与诱惑。

• 让记者来引导360度视频拍摄吗? 见仁见智，有人认为：记者在场有利于展示一个场景的方方面面，能够增强画面的真实感，也有效引导观众。然而，VR强调的是：打破屏障。记者和电视屏幕一样，却是有碍沉浸式体验。若想把记者藏起来，并不是很容易的。

• 虽然传统3D建模的立体感和沉浸感无疑比360全景视频更强，但是3D建模的制作成本较高，不如360全景拍摄来得简便、数据量又小。

• 如果有技巧地在360视频中安插传统的2D视频素材，是有价值的，能有效复用自己的、或别人旧有的2D素材，加速完成内容的开发。

• 日益增加的360度全景视频将为人们带来更多能边走边看的娱乐内容，VR在娱乐界具有强劲的生存能力，可望即将会风靡全球。

• 360全景拍摄是利用相机环拍360°所得的一组照片，藉由专业软件无缝处理拼接而得的一张全景图像，然后制作成为常见的swf格式图像。人们可以用鼠标随意上下、左右、前后拖动来观看，或者以鼠标滚轮放大、缩小场景等。

• 当人们需要真实、直观、立体的再现某个场景时，360全景将是最好的选择。

• 360度全景拍摄是运用专业相机来拍摄整个场景的图像信息，然后利用剪辑软件把拍摄的图片进行拼接起来。

• 于是，一组2D平面图组合而模拟成3D空间。人们可以放大缩小、左顾右盼来观看场景。

• 360度全景拍摄与VR技术的结合，人们可以在虚拟世界中完美地重建现实、体验现实和创造未来的现实。

• 视频拍摄的角度，移动的平滑，场景的布置都会对最后的效果产生影响。

  

<<<介绍三星的Gear 360全景相机>>>

• Gear 360含有前后两个超180度的广角镜头。可与手机相连接，从手机端控制拍摄，并在手机内合成全景相片再回存到相机或手机本地，这提供给人们更简单、更方便的方式来制作VR内容。Gear 360成为世界上最受欢迎的摄像机之一。

• Gear 360标价为349.99美元。

 

 

PS. 建议参考下列文章：

1. VR全景视频技术详解 

• VR全景视频整体方案，主要包括采集、拼接、编码及传输和播放几个部分。

• 对于视频内容的生产而言，第一步就是视频的采集。与普通视频生产不同，全景视频的采集需要多台摄像机同时完成。目前常用的采集设备有Google Jump、GoPro、NOKIA OZO、NextVR等。全景视频拍摄设备的取景范围为水平360°，垂直180°。 

• 对于用户而言，针对编码后的全景视频，要进行终端显示观看。常用的显示设备有PC、Pad、Phone、头显等。显示过程就是将全景视频进行相应投影，如进行柱面、球面投影等。乐视已经开发了多款VR头显设备，为VR全景视频内容的观看提供了完美的体验。 

  ==> 詳細內容

2. VR视频资源怎么拍出来的？  

• VR全景照片是怎么拍的呢？为什么很多是球形的呢?

• 一键能把你的前后左右上下的场景全部都拍到你的照片或者视频中的就叫全景。  

  ==> 詳細內容

3.全景视频压缩("Twitter 加快布局VR/AR")--2016/6/29 

• Twitter已经成立了一个新的团队，由 Sabatelli 担任主管，专门负责虚拟现实和增强现实研发。 

• Twitter看重的是Sabatelli在UI设计和数据可视化领域的经验。从Sabatelli在LinkedIn上看到的资料发现， 他所获得的专利中有些是可以应用在增强现实和虚拟现实的，包括基于环境的用户接口和基于位置的通知系统。

• Twitter 收购了 Magic Pony Technology 公司。Magic Pony 的多个视频压缩专利也可以帮助到Twitter进军虚拟现实和增强现实市场，尤其是用于直播360度视频。360视频直播十分红火，而Twitter的增长正面临瓶颈，寻找新出路新业务也是理所当然的。但360视频直播对宽带流量的要求非常大，所以Magic Pony的算法应该可以帮助Twitter解决这个难题。

   ==>詳細內容

4.PCP VR利用光场技术打造更加真实的虚拟现实体验(2016/2/16)

• 位于多伦多的初创公司PCP VR计划为 Maya、Unreal和Unity等引擎提供一键式创造虚拟现实环境技术。

• 这是第一个可以同时给高端和低端虚拟现实平台制作高质量内容的系统，包括Oculus Rift、PlayStation VR和三星Gear VR。这是“True 3D”格式，而不是立体3D视频，前者的沉浸感更加好。

• 传统的360度视频让观众处于画面的中心，让他们可以看向不同的方向。True 3D进一步加深沉浸感，让用户可以在画面中移动，甚至可以看到物体的背后，这是标准360度视频不能够展示的。

• 开始的阶段，PCP VR专注于三星Gear VR，因为其价格便宜让多数人相信它会成为最受欢迎的一款头戴设备。该格式也是第一个做到可以将例如Lytro光场相机中提取光场数据导入到虚拟现实内容中去，大大增强沉浸感，而且兼容于所有的虚拟现实和增强现实设备。

  ==>詳細內容

5.如何拍摄360度全景视频(2016/5/20)

• VR全景视频：全景视频已经成为新潮流，也有越来越多的视频网站支持观看全景视频，自从gopro火起来了，利用多个gopro镜头拼接起来拍摄360度无死角的全景视频成为新宠，facebook天价收购虚拟现实创业公司Oculus VR，VR全景视频开始成为当红炸子鸡，社交领域也越发红火。

• 开始拍摄：全景相机的对焦都是无限远，而且无论有没有将镜头对准被摄物体，最终成像都会包含这个被摄物，如果想要查看拍摄位置的效果，通过wifi连接手机APP直接预览画面就可以。值得注意的是，距离拍摄物体最好1米以上，否则“鱼眼”效果很明显。

• ==> 詳細內容

6. 有了它，直播软件才是真要进入VR时代了(2016/5/20)

• 目前，360°视频的制作是一件需要花费很多时间的工作。

• 首先，需要用不同的相机来拍摄视频片段，然后制作人必须考虑如何将这些片段以不同的方式进行转码，以适应不同的VR播放平台。

• Reality Lab Networks 公司研发了一个一站式的工作平台，以简化360°全景视频的制作流程。这个名为Live Planet 的摄像头工作站，包括一个摄像头、云存储平台和相关的软件应用程序。其中，摄像头可以实时地对视频片段进行记录与编码。之后，所有4K的实境视频片段将被传送到云平台，这个云平台能够自动地根据不同的VR播放设备与平台进行转码，可支持设备包括Oculus,HTC Vive，Google Cardboard, Gear VR, Facebook 360 与Youtube360。

• 摄像头由16个装置了同步传感器的镜头组成，可以实现每秒30帧的4K视频拍摄。同步传送与记录到512GB存储器上的速度可以达到每秒60帧。摄像头底座包括以太网、无线网络、USB、HDMI 和SDI输出接口。

     

• ==> 詳細內容

 

 

• 人类70%-80%的外界信息采集都来自于视觉，像3D眼镜、裸眼3D、头戴式VR头盔等技术，都呈现出人们对于重现视觉影像的不懈追逐。

• 全息影像（Hologram）的每一部分都记录了物体上各点的光信息，能再现原物的整个图像，立体感强，具有真实的视觉效应。

• 全息影像技术就是制作一种物理上的纯三维影像，观看者可以从不同的角度不受限制的观察甚至，进入影像内部。其中，最常见的就是：全息投影。例如，全息投影在一支可乐瓶子上： 

  

• 例如，将AR+全息投影技术应用于<邓丽君.周杰伦2015演唱会>：

  

• “holo-”有全、满的涵意，而“-gram”则是图像之意。Hologram合起来可称为<全像投影>或<全息影像>，其采用光波的振幅和相位差，来实现3D影像。让每个人都能裸眼看到虚拟物体。

  

 

• AR的三项特点是：①真实世界与虚拟世界的信息整合；②具有实时交互性；③在3D空间里迭加虚拟物体。

• 例如，微软的Holelens AR眼镜是现实环境与虚拟图像相结合的设备，这需要装入许多传感器来探知外部设备，还要能进行手势动作追踪、捕捉声音，并与用户所看到的现实世界相结合。

   

• 这种新一代的AR把虚拟对象投射(叠加)到实体物品上。让人们感官融入于<虚拟迭加实体>的世界中。又称为MR(Mixed Reality)。

  

  

• 人们眼睛在看真实世界的时候，眼睛落到不同物体上时，焦点、焦距都是不同的。即眼中看到的清晰的世界，在一个时间内，只是类似于一个确定焦点的二维图，焦点部分是清晰的，背景部分则是模糊的。而整个空间环境则是由无数个这样的二维画面迭加融合而成，融合后的画面会包含各个「焦点」在特定时刻的各种空间信息和位置关系。

• 光场技术，就是要记录下来整个空间的所有信息，然后将这些信息完整地复原、模拟出来这个空间。使我们跟真正在这个空间中的任何位置一样，能从任意角度看到对应的信息所呈现的画面。

          

• 目前最著名的Magic Leap公司是最受投资者青睐的公司，它的4D光场显示技术的主要特点在于可以呈现不同深度的图像，人们观察近景或远景时，都可以看到真实的聚焦和失焦效果，让观众从每个角度看到的东西都不一样，提供很棒的互动体验。 

• 这项未来新技术，有望成为彻底解决用户晕眩问题的妙方。 

  

~ end ~