多媒体应用的新技术（第八章）

最新推荐文章于 2024-10-04 22:36:54 发布

搞全栈小苏

最新推荐文章于 2024-10-04 22:36:54 发布

阅读量1.3k

点赞数 29

分类专栏：多媒体应用设计师知识点总结文章标签：目标检测人工智能计算机视觉媒体学习

本文链接：https://blog.csdn.net/weixin_57695658/article/details/141825486

版权

多媒体应用设计师知识点总结专栏收录该内容

14 篇文章 1 订阅

订阅专栏

前言

这一章的话也是比较重要的，我刷题老是刷到，重点是虚拟现实技术和增强现实这两部分，大家仔细阅读，加油！

一、信息可视化技术

信息可视化定义：
- 将广泛存在的非具体数据以能满足人机交互的方式表达出来，使信息接收员可以方便地分析数据，找出数据规律，完成对信息的处理。
- 信息可视化的两大基础：认知心理学和图像设计。
可视化方式：
- 分为一维、二维、三维、多维、时序、层次、网状的信息可视化方式。
信息可视化映射技术 PFNET：
- 最早被使用，它通过对事物的理解、分析，形成自己特有的网络表现方式，进而实现不同事件之间分层归纳。
信息可视化显示技术：
- 对文献进行检索，再对检索结果聚类分析，最后将处理的数据在计算机上进行可视化展现。
信息可视化应用：
- 生物学应用：利用信息可视化技术对大规模蛋白质数据集进行可视化分析。
- 网络通信检测应用：利用该技术显示网络节点特性、网络连接与流量、地理区域分布等信息。
- 商业信息应用：根据用户消费行为进行分析从而在电商平台推荐对应的商品。

二、人机交互技术

立体视觉显示技术：
- 通过一定技术使画面变得立体逼真，让观看者能感受画面深度，带来身临其境的观影体验。
- 分为眼镜式 3D（影院采用的主流观影方式）、头戴式 HMD（虚拟现实产品主要显示方式）、裸眼 3D（在观看者左右眼投射视差图像）、全息投影。
自然手势交互技术：
- 从硬件上分为单目 / 双目（leap motion）/ 多目视觉系统；从手势复杂程度上分为静态 / 动态手势识别。
- 随虚拟现实技术兴起，数据手套再次受到关注。如 5DT（不提供力反馈）、CyberGlove（提供力反馈）、Dexmo（提供力反馈）。
肢体动作交互技术：
- 不借助交互工具，直接通过肢体动作映射到计算机虚拟环境，是自然人机交互方式。
- Kinect 是基于光学检测原理的非穿戴式交互设备。
人机交互技术：
- 包括用户向计算机输入信息及计算机输出信息给用户的过程。
- 人机交互的发展特征：越来越注重用户体验；逐渐突破交互维度的限制，发展为直接在三维空间交互的三维人机交互方式，将现实中人与真实环境交互的经验运用到虚拟人机环境中，消除用户为适应计算机系统带来的认知负担。
虚拟现实技术：
- 产生于 20 世纪 60 年代，是把客观上存在或不存在的东西，运用计算机技术，在用户眼前生成一个虚拟的环境使人感到沉浸在虚拟环境中的一种技术。
- 最大特点：用户可以用自然方式与虚拟环境进行交互操作，改变过去人类除了亲身经历，只能间接了解环境的模式，从而扩展自己的认知手段和领域。
- 虚拟现实的三个特征：沉浸感、交互性、想象力。

三、虚拟现实技术

虚拟现实硬件设备：
- 视觉设备：头盔显示器、立体眼镜、洞穴式立体显示系统、墙式立体显示系统、裸眼立体显示。
- 触觉和力反馈设备：力反馈操纵杆、力反馈手套。
- 位置跟踪设备：数据手套、运动捕捉系统。
- 计算设备：高性能计算机、高性能图像工作站。
- 头盔是最早的虚拟现实器，其原理是左右眼屏幕分别显示左右眼的图像，人眼在获取这种带有差异的信息后可以在脑海中产生立体感。
- 立体眼镜，当显示器输出左眼图像时，左眼镜片为透光状态，右眼不透光。显示器输出右眼图像时，右眼镜片透光左眼不透光，这样两只眼睛就看到不同画面，达到欺骗眼睛的目的。
- 立体显示技术：彩色眼镜法、偏振光眼镜法、串行式立体显示器、裸眼立体显示技术。（ps: 同时显示技术 —— 在屏幕上同时显示分别对应左右眼的两幅图像。分时显示技术 —— 以一定频率交替显示两幅图像）分时：串行立体演示器；同时：立体眼镜，头盔。
环境建模技术：
- 三维视觉建模（几何建模、运动建模、物理建模、对象行为建模、模型分割）、三维听觉建模。
真实感实时绘制技术：
- 真实感绘制是指在计算机中重现真实场景的过程。实时绘制是指当用户视点发生变化时，保证图像显示更新的速度跟上视点的改变速度，从而消除迟滞现象。
- 方法：纹理映射、环境映射、反走样。
碰撞检测技术：
- 检测游戏中各物体的物理边缘是否发生碰撞，使游戏效果符合客观世界物理规律。
自然交互技术：
- 包括：视觉通道、听觉通道、触觉与力反馈、用户的输入、语音识别与合成。
虚拟现实建模语言的特点：
- 桌面型：包括基于静态图像的虚拟现实技术（360° 全景）、Web 3D、桌面 CAD 系统。
- 沉浸型：包括完全沉浸型虚拟现实系统、座舱、远程存在。
- 增强现实型：增强现实中无法感知或不方便感知的感受。如：飞行员的平视显示器。
- 分布式：将异地的不同用户联结起来，共享虚拟空间，多个用户通过网络对同一虚拟世界进行观察操作，协调工作。
虚拟现实系统的分类：
- 虚拟环境表示的准确性。
- 虚拟环境感知信息合成的真实性。
- 人与虚拟环境交互的自然性。
- 实时显示问题（景物复杂度问题）。
- 图形生成（虚拟现实的重要瓶颈）：随着人的活动，即时生成相应的图形画面。
- 人工智能技术：语音识别、图像识别、自然语言理解。
虚拟现实技术的需克服的问题：
- 医学：建立虚拟人体模型，利用跟踪球、HMD、感觉手套来了解人体内部器官结构。远距离遥控外壳手术。
- 娱乐，艺术，教育：VR 游戏。VR 的临场参与感和交互能力可将静态艺术转化为动态。虚拟的物理实验室。
- 军事与航天工业：SIMNET 虚拟战场系统。模拟零重力环境训练宇航员。
- 管理工程：设计新型建筑物。分析股票债券。
虚拟现实技术的应用：
- 全息成像技术的原理：利用光的干涉（即拍摄过程）和衍射原理记录并再现物体真实的三维图。
- 计算机仿真（CS）技术是利用计算机软件模拟真实环境进行科学实验的技术。原则上以视觉和听觉为主，将用户视为旁观者，其可视场景不随用户视点变化而变化，用户没有身临其境感觉，不强调交互的实时性。

四、增强现实技术

增强现实技术定义：
- 虚拟的物体叠加到真实世界，让学习者通过平板等移动设备在虚拟融合的环境中学习、互动、感知真实世界和虚拟世界的共同存在。
- 特点：虚实结合、实时交互、三维注册。
增强现实的实现流程：
- ①捕获真实场景。
- ②分析真实场景和相机位置信息。
- ③生成虚拟对象。
- ④合并图像流生成虚实结合场景。
显示技术：
- 建立在视觉成像原理基础上，将真实场景投射到人类视网膜，实现虚拟物体和真实场景叠加。
跟踪注册技术：
- 通过虚拟空间坐标系和真实环境空间坐标系无缝融合，准确定位并跟踪用户，定位过程称之为注册。
- 增强现实系统必须实时监测摄像头位置、角度及运动方向，帮助系统决定现实虚拟信息，按摄像头视角建立坐标系，称为跟踪。
虚实融合技术：
- 自动获取环境的光照和反射信息，根据真实场景图形折射出真实的光源数目、光照方向。
人机交互技术：
- 根据执行者发出的动作指令做出相应信息反馈。
增强现实 AR—— 混合现实 MR（将物理世界实时并彻底比特化，兼具虚拟现实和增强现实设备功能）—— 增强虚拟 AV：
- 虚拟现实是一种可以创建和体验虚拟世界的计算机系统，主要特征是沉浸感、交互性、想象力。
- 增强现实是将虚拟的物体叠加到真实世界，是对现实世界的补充，特点是虚实结合、实时交互、三维注册。
虚拟现实与增强现实的区别：
- 虚拟现实要求给用户以完全的沉浸感，用户完全沉浸计算机生成的虚拟场景，看不到真实场景。
- 增强现实最终目的是将计算机产生的虚拟场景无缝融合到用户可见的真实场景，增强用户视觉感受，并实现与虚实融合环境的交互。
- 增强现实对硬件要求更低，但有更高的注册精度和更具视觉冲击力的真实感。

五、习题

一、选择题

信息可视化的两大基础是什么？（）
A. 认知心理学和图像设计
B. 数据挖掘和机器学习
C. 计算机图形学和人工智能
D. 数据库管理和网络技术

答案：A

以下哪种不属于立体视觉显示技术？（）
A. 眼镜式 3D
B. 裸眼 3D
C. 全息投影
D. 触摸屏显示

答案：D

在自然手势交互技术中，CyberGlove 提供什么功能？（）
A. 仅静态手势识别
B. 仅动态手势识别
C. 力反馈
D. 多目视觉系统

答案：C

虚拟现实建模语言 VRML 的特点不包括以下哪一项？（）
A. 强大网络功能
B. 提供场景内物体和对象的相互作用
C. 仅适用于特定操作系统
D. 支持脚本语言

答案：C

增强现实技术的特点不包括以下哪一项？（）
A. 虚实结合
B. 实时交互
C. 三维注册
D. 完全沉浸感

答案：D

二、填空题

信息可视化方式分为一维、二维、三维、多维、时序、层次和______的信息可视化方式。

答案：网状

人机交互技术中，Kinect 是基于______检测原理的非穿戴式交互设备。

答案：光学

虚拟现实硬件设备中的视觉设备包括头盔显示器、立体眼镜、洞穴式立体显示系统、墙式立体显示系统和______。

答案：裸眼立体显示

真实感实时绘制技术中，当用户视点发生变化时，保证图像显示更新的速度跟上视点的改变速度，从而消除迟滞现象的技术称为______。

答案：实时绘制

增强现实的实现流程包括捕获真实场景、分析真实场景和相机位置信息、生成虚拟对象以及______。

答案：合并图像流生成虚实结合场景

三、简答题

简述信息可视化的定义和应用领域。

答案：信息可视化是将广泛存在的非具体数据以能满足人机交互的方式表达出来，使信息接收员可以方便地分析数据，找出数据规律，完成对信息的处理。信息可视化的应用领域包括生物学应用（对大规模蛋白质数据集进行可视化分析）、网络通信检测应用（显示网络节点特性、连接与流量、地理区域分布等信息）、商业信息应用（根据用户消费行为在电商平台推荐商品）。

列举人机交互技术中的几种交互方式

答案：人机交互技术中的交互方式包括立体视觉显示技术（如眼镜式 3D、头戴式 HMD、裸眼 3D、全息投影）、自然手势交互技术（硬件有单目 / 双目 / 多目视觉系统，分为静态 / 动态手势识别，还有数据手套等）、肢体动作交互技术（不借助工具，直接通过肢体动作映射到计算机虚拟环境，如 Kinect）。

简述虚拟现实技术的三个特征和需克服的问题。

答案：虚拟现实技术的三个特征是沉浸感、交互性、想象力。需克服的问题包括在医学领域建立虚拟人体模型、进行远程手术；在娱乐、艺术、教育领域有 VR 游戏、将静态艺术转化为动态、虚拟物理实验室；在军事与航天工业有虚拟战场系统、模拟零重力环境训练宇航员；在管理工程领域设计新型建筑物、分析股票债券等。同时还需解决图形生成瓶颈、人工智能技术应用等问题。