合工大-数字媒体与技术期末考试及题解

数字媒体技术课程课堂测验试卷

时长：75分钟       地点：因疫情改线上       日期：2022年10月26日

注意事项：在试卷word文件上直接作答，必须写上姓名学号，文件重命名为:学号-姓名.docx。

姓名：

学号：

2020214523

 

• 简答与计算（共6题，每题8分）：

1. 将2K分辨率的原始视频01.yuv编码为h.264格式的mp4视频，希望编码后视觉质量比较好，请写出一个可以解决该问题的ffmpeg命令。

Ffmpeg -f yuv420p -s 540x960 -i 01.yuv 01.h264

 

1. AR眼镜和VR眼镜的不同点在于什么？各自适合什么样的场景？

VR与AR的区别，在于前者是完全虚拟一个全新的场景，而后者则是在现实场景中叠加虚拟，感受更真实自然。除此之外，AR与VR的区别还在于交互方式、应用方式以及发展方向上。   VR虚拟现实场景是可交互的而非单向的，通过人机界面去控制设备来实现人机交互，就如同我们通过控制手机屏幕与智能手机进行交互是一个道理，这里是通过鼠标键盘与电脑机器进行交互。   和VR虚拟现实的沉浸感不同的是，AR增强现实是通过设备来增强现实世界的观感体验。也就是说，感受是真实发生在体验者所处的现实世界之中的，只是利用设备将虚拟场景叠加到现实世界，而带来更多层次的感受。

 

1. 有一段YUV420P格式视频，时长M秒（M为学号后3位）、帧率每秒N帧（N为学号后2位）、分辨率为720p、位深度8bit，该视频占多少字节？

1024/8*523=124474lb

 

1. 局部4×4的图像如下，将自己的学号填到该图像中，空余位置按顺序补0、1、2、3、4、5…，请绘制其直方图。假设该类型图像最小和最大值就是0和9，结合该直方图对此图像的灰度值特点进行简要分析。 

例 学号2020222321

2	0	2	0
2	1	4	5
2	3	0	1
2	3	4	5

 

图像中左边亮度一致，下面从左到右亮度依次增加，其他地方亮暗不定   【3，2，5，2，2，2】

 

绘制直方图可能用到的素材：

如果因为设备或软件问题绘图有困难的同学，可以使用数值形式列出直方图如[K1,K2,K3,…]

 

 

1. 对于上述4×4的图像和直方图，进行直方图均衡化，绘制均衡化后的直方图（请列出计算过程，如归一化直方图、累积直方图、映射关系、最终直方图）。

以上一题的直方图为例 【3，2，5，2，2，2】   归一化直方图: 原始图像灰度级k 归一化灰度级         0 0/7=0       1 1/7=0.1428       2 2/7=0.2856       3 3/7=0.4258       4 4/7=0.5714       5 5/7=0.7142           计算原始直方图的概率：3/16，1/8,  5/16, 1/8, 1/8, 1/8   累计直方图：                              0  :   3/16      1    5/16 2    5/8 3    3/4 4    7/8 5    1   累计直方图进行区间转换 【1，2，4，4，5，6】

 

1. 对于上述4×4的图像，使用你的学号后9位数构建卷积核，可以调整数字位置和正负号。使用该卷积核卷积此图像，请给出卷积后的结果，并分析该卷积核可能具有的作用（请列出计算过程，如该卷积核形式、卷积算式、最终结果）。

2	0	2	0
2	1	4	5
2	3	0	1
2	3	4	5

 

后九位数：20214523   构建卷积核：         0 2 0       1 4 5       2 2 3   公式： y(n)=i=−∞∑∞​x(i)∗h(n−i)   卷积计算后：   36，45 38，45

 

• 系统设计与应用（共4题，每题13分）：

1. 2022北京冬奥会和冬残奥会采用了多种新颖的拍摄及回放技术，例如自由视角赛事回放。请你帮忙设计一套涵盖自由视角视频的采集、制作、播出全流程的系统方案，方案需考虑具体硬件、软件、编码、虚拟视点合成技术方案、视频增强方案。

现场采集 自由视角直播视频的采集不同于传统视频，需要更复杂的采集系统。不同于传统拍摄的单个机位，自由视角视频拍摄需要同步控制多个相机（通常是几十到上百个相机），相机的控制以及直播时的数据传输需要通过以太网进行。而为了保证数据和命令的低延时和高可用，通常需要搭建一个局域网。相机的数据通过网络汇总到现场的服务器，由现场服务器经过预处理后将数据发送到云端，云端进行重建后再发送到现场电视转播车上或者终端APP上。 自由视角录播的视频为了获得更高质量的视频源素材，一般采用录制模式，录制到存储卡中，然后再上传到云端进行重建。 勘场及方案制定 与项目组或制作单位沟通需求、项目特点，现场实地踏勘，结合现场平面图（舞美图）制定合理的拍摄方案，并对实际输出效果做出预判。踏勘时需要确认现场搭建资源供给方式，操作区位置以及拍摄时间。最好是在舞美设计阶段把自由视角技术纳入考虑范围，制作方提供高质音频，可以为后续音视频剪辑对齐，为直播方案打下基础。 硬件系统搭建调试 1）根据平面图提前完成制作，赛前在规定的时间内完成桁架的搭建，相机，交换机，路由器的架设、通电、通网，同步性检测； 2）根据现场舞台与灯光情况，完成相机参数设置与姿态构图调整，使用采集软件进行相机参数计算，根据实际参数完成姿态微调。   音视频采集 利用6-DOF Studio 采集软件，完成自由视角视频源的采集（为直播子弹时间，FVV视频生产提供原始的音视频素材）。。相机姿态调整也支持本地化操作，不需要将视频素材传输到云端，减少对云端计算资源与网络依赖，所有相机的参数标定耗时可以控制在秒级。 云端制作 云端服务主要是根据6-DOF Studio 采集到的音视频数据，对N路视频进行三位重建合成自由视角视频，或根据虚拟路径完成子弹时间视频渲染，后续将生产出来的视频挂靠到媒资系统。 终端渲染 自由视角视频不同于传统视频，为了让用户能从不同视角进行观看，它的每一帧都需要包含拍摄视角的纹理信息和深度信息，且需要用户的交互输入作为变换视角的依据。因此，在客户端需要独立的SDK处理交互、计算和渲染。通过在PC端使用FVV视频剪辑工具，或者在移动端播放器中接入6DOF SDK，完成FVV视频渲染，或者子弹时间制作。 FVV视频剪辑工具 自由视角视频在拍摄阶段就采集众多视角信息，再经过3D重建，可以输出任意视角的视频信息，因此相对于传统视频来说，自由视角视频不仅可以为用户提供丰富的视频信息，交互的观影体验，还非常适合做高质量的精美视频剪辑。FreeViewVideoEditor是一款视频编辑软件，以自由视角视频作为输入，可以通过编辑关键帧来设置自由视角视频路径，在预览模式下观看效果，然后在云端生成目标视频。

 

1. 因疫情防控需要，本市中小学生进行居家线上教学，请你设计一套沉浸式在线教育系统，用于中小学各科目的在线授课，方案需考虑具体硬件、软件、内容制作、呈现及交互方式等。

根据服务的内容和面向的对象的不同我们将在线教育平台划分为教学终端、业务中台、基础服务和教学质量分析系统，各个系统之间是相辅相成的关系，缺一不可。 教学终端：为学员提供技术服务，是面向学员的学习工具，为用户提供直播、录播或者二者组合的教学模式。 业务中台：为学员提供教研教学服务，根据职责的不同可以分为教学和教务两部分，教学部分主要是对教学内容的规划和设计，比如课程的设置、教学计划的指定等，而教务部分主要是对教学中各种资源的整合和分配，比如教师管理、学员管理、班级管理等。 基础服务：为业务中台提供基础服务，比如教学资料、题目、教室等，这些都是通过业务中台，为前端的教学终端提供系统的教学服务，比如每次课程的预习复习资料、考试测评、课程评价等内容。 教学质量分析系统：是通过对各学习场景产生的学习数据，如课堂学习数据、课前课后学习数据、测评数据、课程评价等内容，分析和评估以起到检验教学效果和调整教学方式的作用。 教学管理系统的几个核心内容 在分析教学管理系统之前我们有几个概念需要明确一下： 教学计划：教学计划是课程设置的整体规划，它规定了应设置的课程、课程开设的顺序及课时分配，并按等级确定教育目的和培养目标。 级别：百度百科的解释是“指按某一标准区分的高下差别”，所以对于在线教育行业，级别指则是用来评估用户学习水平的评估标准，比如传统教育中的一年级、二年级。 课程：课程是对教育的目标、教学内容、教学活动方式的规划和设计，是教学计划、教学大纲等诸多方面实施过程的总和，课程内容被拆分成多个课节形成该课程的大纲。 课节：课节是课程按课程大纲划分的课程内容的最小单位，课程的内容由若干个课节组成。   软件需求：浏览器，Java环境，springboot框架，vue框架   硬件需求：服务器，个人电脑

 

1. 一幅受干扰图像如下图所示，拟采用傅里叶算法对该图像进行增强，获取清晰的图像。请简述增强处理的过程，大致绘制出干扰波的频域图像，介绍拟采用的滤波器的类型。

 

 

图像的频域增强其实就是：先对图像进行变换，将图像转换到变换域，然后在变换域进行操作以实现图像增强。常用的变换域就是频域（频率域，傅里叶变换的结果）。图像的频域增强有直观的物理意义。例如，图像模糊是图像中高频分量不足的结果，在频域里增加高频分量或减少低频分量就能消除一些模糊。又如，图像有时会受到重复出现的有规律周期噪声的影响，周期噪声具有特定的频率，所以可以采取频域滤波的方法滤除相应噪声频率，从而消除周期噪声   干扰波的图像：多条横向的条状高亮区域组成的图像   滤波器的类型：频域滤波

如果因为设备或软件问题绘图有困难的同学，可以使用文字描述该频域图像。

 

1. 虚拟人是目前元宇宙相关应用中重要的基础技术之一，请分析构建一个3D虚拟人所需要的数据来源及其数据格式，请至少包含3种不同的数据。

【文字设定】 根据虚拟人的身份背景，所需要出席的场所，应用的场合等信息。为虚拟人设定身份。用文字确定如下信息，如姓名、年龄、职业、喜好，奇幻背景的人物，还可以加入种族、超能力等。 【2D形象设计】 由专业美术团队或者个人，根据人设，设计人物形象。 【3D模型建模】【3D模型绑骨】 由专业的3D建模团队或者老师，进行3D建模。完成后，对模型骨骼进行绑定。这个模型就可以进入使用了 【物料制作产出】 完成建模后，就可以通过动作捕捉、面部捕捉，进行视频、直播的物料制作了。一版还是有虚拟人的专业团队进行。但是直播，在经过短时间培训后，也可以由媒体公司自己进行。在带货直播火爆的今天，非常实用。