360视频编码
文章平均质量分 72
360视频是VR的一种主要表示格式,是目前视频编码的一个重要研究方向。本专栏旨在记录分享个人360视频编码的学习过程。
岳麓吹雪
现在努力,以后就可以休息
展开
-
基于ERP特性的自适应QP
在之前对投影格式的分析中已经反复提到了,ERP存在与纬度相关的横向拉伸,越向两极拉伸越严重。基于这个特性,可以对编码进行相关的优化。在JEVT F会议提案中出现了自适应QP的方法,获得了不错的效果。JVET F会议中出现了三种基于ERP特性的自适应QP,提案号分别为F0038、F0049和F0072,其中F0038和F0049相似,而且效果要远优于F0072,下面就两者进行简单介绍。F0038和F0原创 2017-11-30 15:57:38 · 2346 阅读 · 56 评论 -
从球域采样分布分析360质量评估
360视频在实际显示时,需要由2D平面投影到球面,最终呈现给观众的是球形视频,因此,直接评估2D平面视频是不准确的,于是引入了WS-PSNR、S-PSNR和CPP-PSNR。之前的学习中,都是从球面到平面变换公式中进行分析的,下面就来从球域采样分布,来更加直观的理解一下目前主要投影格式ERP和CMP质量评估中存在的问题。在360lib中,直接给出了ERP的2D平面坐标系(u, v)到球面坐标系(ϕ,原创 2017-10-25 16:57:58 · 1089 阅读 · 0 评论 -
360Lib:Lanczos插值
在360Lib中定义了多种插值滤波器: 在格式转换中使用的是Lanczos插值滤波器,色度分量使用的是Lanczos-2,亮度分量使用的是Lanczos-3。Lanczos插值滤波器原理见: http://blog.csdn.net/lin453701006/article/details/78205170360Lib Lanczos插值滤波器代码主要有两部分: 1.初始化滤波器原创 2017-10-11 17:16:20 · 1974 阅读 · 0 评论 -
360Lib:S-PSNR
S-PSNR是360Lib采纳的一种360视频的客观质量评估标准,分为S-PSNR-I和S-PSNR-NN,区别在于是否进行亚像素插值。实际上是通过球上的固定均匀采样点来计算PSNR。TSPSNRIMetric类首先来看S-PSNR的类TSPSNRIMetric,其中定义了重要函数:xCalculateSPSNRI,计算S-PSNR-I。class TSPSNRIMetric{原创 2017-10-08 11:00:04 · 2274 阅读 · 1 评论 -
360Lib:CPP-PSNR
CPP-PSNR是360Lib采纳的一种360视频的客观质量评估标准,通过将360视频投影得到的2D图像转换为CPP格式计算PSNR。下面来看360Lib中定义的CPP-PSNR类TCPPPSNRMetric,其中定义了重要函数xCalculateCPPPSNR,用于计算CPP-PSNR。class TCPPPSNRMetric //CPP PSNR{private: Bool原创 2017-09-28 09:19:45 · 1513 阅读 · 0 评论 -
360Lib:WS-PSNR
CPP-PSNR是360Lib采纳的一种360视频的客观质量评估标准。该评估标准认为,把2D图像投影到球型视野上,不同纬度的像素具有不同的权重,通过给360视频投影得到的2D图像的不同纬度增加权重,来对360视频进行评估。TWSPSNRMetric类下面来看360Lib中定义的CPP-PSNR类TWSPSNRMetric,其中有两个重要函数createTable(创建投影格式对应的权重列表)和xCa原创 2017-10-07 17:00:55 · 2710 阅读 · 1 评论 -
360视频质量评估标准:WS-PSNR,S-PSNR,CPP-PSNR
为了符合当前的视频编码标准,360视频采集后需要投影为2D图像进行编码,而观看时需要将2D图像投影为球形视频,实际用户看到的是球形视频。考虑球形视频的特点,会存在关注区域的问题,直接使用PSNR对2D图像进行评估是不准确的。目前360Lib中,采纳了WS-PSNR,S-PSNR,CPP-PSNR作为360视频的客观质量评估标准,其中S-PSNR分为S-PSNR-I和S-PSNR-NN。首先来看下36原创 2017-09-27 10:16:18 · 6245 阅读 · 6 评论 -
360Lib:CPP
360lib中采纳了多种投影格式,实际其中包含了CPP格式。在计算CPP-PSNR时,需要将视频转换到CPP格式下计算PSNR,CPP格式在360lib中只作为一种中间格式,没有给用户直接提供与其他格式转换的功能。 360lib中定义了CPP类TCrastersParabolic,是TEquiRect的派生类,包含了map2DTo3D(2D-3D转换)、map3DTo2D(3D-2D转换)原创 2017-10-09 14:57:13 · 1170 阅读 · 0 评论 -
360Lib中的坐标系
360Lib是JVET设计的一个360视频投影格式转换和质量评估的工具,其中投影格式转换应该是在之前的PCT360(JVET D0090)基础上改进得到的,支持的格式如下图: 注意:其中4(用于生成视窗)和6(用于计算CPP-PSNR)没有提供与其它格式之间的转换。首先来看360Lib中的3D坐标系。为了描述3D场景,用3D-XYZ坐标系表示,如下图: 用经度ϕ [-π, π]和纬度θ [-原创 2017-08-09 11:00:42 · 5160 阅读 · 3 评论 -
360Lib整体介绍
今天来补一个360Lib的整体介绍。360视频编码也算是比较新的研究热点,在CSDN上相关博客还比较少。360Lib是JVET设计的一个360视频投影格式转换和质量评估的工具,可以与HM或JEM整合用于360视频编码。我已经把可能用到的东西都上传了: 360Lib-2.0.1:http://download.csdn.net/download/lin453701006/10024340 360L原创 2017-10-16 15:53:38 · 4838 阅读 · 14 评论 -
pitch yaw roll
在360视频文献中,经常会看到pitch yaw roll这三个角度,始终没有去看一下其具体函数,现在来学习一下。 pitch yaw roll来自于航空领域中的飞机姿态角。 http://www.123kuai.com/index.php?a=show&c=index&catid=9&id=54&m=contentpitch:俯仰角θ,在360视频中表示绕X转动产生的夹角,表示纬度。 yaw原创 2017-08-08 17:40:17 · 835 阅读 · 1 评论 -
Cubemap Projection(CMP)
参考文献: JVET-C0021-GoPro test sequences for Virtual Reality video coding之前在对伪圆柱投影的全景视频编码的学习中,已经了解了圆柱投影的全景视频不适合用传统编码标准HEVC进行编码。因此,变换了投影方法,使用伪圆柱投影来实现适配HEVC编码的目的,其中要点在于对有效区域边界的处理。接下来将对另一种适配HEVC编码的投影,Cub原创 2016-11-23 15:21:43 · 6707 阅读 · 33 评论 -
Craster's Parabolic Projection(CPP)
Craster’s Parabolic Projection(CPP)——克拉斯特抛物线投影,是一种伪圆柱等积投影,被用于360视频投影,具有最小的形状失真和相同的空间分辨率,性能优于ERP格式。 1.推导参考: http://www.progonos.com/furuti/MapProj/Normal/CartHow/HowCPar/howCPar.html CPP是东北象限图像如下,H大于原创 2017-04-20 17:53:23 · 2155 阅读 · 11 评论 -
Equal-area Projection(EAP)
Cylindrical Equal-area Projection Equal-area Projection(EAP)指的是Cylindrical Equal-area Projection,是一系列的圆柱等面积投影,将经线映射为等间隔的垂直线,纬线映射为水平线。可以想象为,将球面映射到一个圆柱面上并将圆柱面展开。 Cylindrical Equal-area Projection,由赤道向两原创 2017-05-04 16:01:04 · 3147 阅读 · 0 评论 -
Equirectangular Projection(ERP)
Equirectangular projection(ERP)是一种简单的投影方式,将经线映射为恒定间距的垂直线,将纬线映射为恒定间距的水平线。这种投影方式映射关系简单,但既不是等面积的也不是保角的,引入了相当大的失真。公式推导:球面上:λ是经线,φ是纬线,φ1 是标准纬线,λ0是中心子午线 平面上:x是水平坐标,y为垂直坐标。由球面到平面投影关系: 由平面到球面投影关系: 360视频中的原创 2017-05-04 18:02:02 · 20137 阅读 · 8 评论 -
Pseudo-Cylindrical伪圆柱投影的全景视频编码
本文学习参考文献:Ghaznavi Youvalari, Ramin. 360-Degree Panoramic Video Coding. 1、pseudo-cylindrical伪圆柱投影pseudo-cylindrical伪圆柱投影是在圆柱投影基础上,规定纬线为平行直线,而经线则根据某些特定条件而设计成对称于中央经线的各种曲线(多为正弦曲线或椭圆曲线)的投影。 目前圆柱投影比较常用,将球体坐原创 2016-11-18 09:44:03 · 2814 阅读 · 0 评论