part_three：多媒体信息管理技术和软通信与网络技术

一、超媒体与web系统

背景（为什么引入超媒体）

1. 信息爆炸（甚至该学科的专家也不能全部掌握）与信息垃圾；
2. 多媒体化；
3. 网络化、分布化；
4. 信息间相互关系之复杂；
5. 迫切需要一种技术或工具，高效地管理信息，并建立起信息之间的关联。

概念

超文本是一种新颖的文本信息管理技术，建立各种媒体信息之间的网状链接结构，这种结构由节点组成。
对超文本进行管理使用的系统称为超文本系统，即浏览器，或称为导航图。
若超文本的节点数据可以是文本，还可以是图像、动画、音频、视频，则称为超媒体。
链接(hyper link)：指文本中的词、短语、符号、图像、声音剪辑或影视剪辑之间的链接，或者与其
他的文件、超文本文件之间的链接，也称为“热链接(hot link)”或“超文本链接(hypertext link)”。

与传统文本的不同

1. 传统文本以线性方式组织，而超文本以非线性方式组织。即文本中遇到的相关内容通过链接组织起来，用户可以很方便地浏览这些相关内容，这种文本的组织方式与人们的思维方式和工作方式比较接近。
2. 文本的特点：在信息组织上是线性和顺序的； 、
3. 超文本结构采用非线性的网状结构组织块状信息，没有固定的顺序。

分布式超媒体系统WWW（world wide web）

1. Client/Server体系结构，支持分布式超文本；
   WWW客户端软件称作Web Browser，负责向Server提供请求、解释和定位资源；
   WWW服务器端软件称Web Server，负责将多媒体集成，根据用户请求、以统一格式向客户端发送。
2. 理论上Web超文本系统分为3层
   表现层：用户接口层；
   超文本抽象机器层：由HTTP和HTML组成，存储节点和链；
   超文本信息库层：存储数据、共享数据、网络访问

SGML (Standard General Markup Language)

通用的文档结构描述标记语言，定义文献模型的逻辑结构和物理结构，1986年国际标准。一个SGML文档包括：

1. 语法定义：规定文档类型和文档实例须遵循的语法结构；
2. 文档类型定义（Definition Type Document，DTD）：规定了文档实例的结构和组成结构的元素类型
3. 文档实例：SGML文档主体部分，存放文档具体内容
   SGML是一种元语言，在实际应用中可以派生出其他的语言。即每个特定的DTD都定义了一类文档。具有某一特定DTD的SGML语言，称为某某标记语言。

HTML (HyperText Markup Language)

由SGML派生出来的标记语言，其DTD作为标准被固定下来，用户不能修改它，只能用它创建文档实例。
HTML不能作为定义其他标记语言的元语言。
HTML只使用固定数量的元素类型，作为一种具有固定文档类型的标记语言，因此，它只能提供有限的功能

XML (eXtensible Markup Language)

SGML的一个子集，一种简化的SGML。与HTML不同，XML可以定义标记语言DTD，因而也可以像SGML，作为元语言定义其他的标记语言。
W3C推荐的开放标准，构造Web上文档和数据的通用格式。
源自SGML，保留了SGML的80％功能。
一种元标记语言，可以派生出无限多种标记语言
XML技术系列：

1. CSS (Cascading Style Sheets): 级联样式语言
2. XSL (eXtensible Stylesheet Language):可扩展样式语言
3. DTD (Document Type Definition): 文档类型定义
4. XML Schemas: XML语言模板
5. DOM (Document Object Model): 文档对象模型
6. XLink (XML Linking Language): XML链接语言
7. XPointer (XML Pointer Language): XML指针语言
8. XPath (XML Path Language): XML路径语言
   用户需要标记时，可以创造出标记，通过样式表告诉浏览器如何显示这些标记。每个行业组织和开发人员都可以用XML创建自己的标记语言。

HTTP－超文本传输协议

HTTP (HyperText Transfer Protocol)最初是一个面向对象的应用级协议，而非专用于超文本／超媒体的
传输，但它精巧快速，特别是通用性、无状态性以及面向对象的特点，使之非常适合于分布式协作化的超文本／超媒体系统。
采用请求／响应的握手方式，客户与服务器只是相对的概念

二、多媒体信息共享和检索

社交媒体

2004年Web2.0出现，高级的交互功能使用户能创作和分享内容。
社交媒体指一系列以Web2.0思想和技术为核心的基于互联网的应用，允许用户创建和交换自己的创作内容。
社交媒体服务将丰富的图形用户界面(GUI)和多媒体内容相结合，实现内容创作、分享和通信。如，微信、抖音、YouTube、Facebook、Twitter等社交媒体，已经融入人们生活。
社交媒体特点：

1. 用户自创内容：网络中普通用户是内容创作者和发布者。网络内容不断丰富和多样。
2. 用户活跃互动：保证用户直接联系，促进内容快速传播

典型的社交媒体服务

用户创作内容分享：作品以文本、音频、图片、视频等多媒体形式，依托免费软件、灵活授权和许可等开放资源，降低用户制作难度
在线社交网络：提供基于互联网的社交平台，人们通过可以与真实世界的朋友或有共同兴趣的人进行社交互动。

云计算多媒体服务

概述

云用户在云服务商提供的服务器集群上运行应用，所需的软件和系统已经在云内部署，减少用户软件安装和升级的负担。云用户还能把数据存放在云上，随时访问。
云计算的基础是广义上的资源虚拟化和资源共享。多个动态用户的云资源是共享的。

云计算特征

1. 自主服务。需要时，用户可以单方面提供计算能力(如服务时间，网络存储)，无需与服务商交互。
2. 资源共享和快速弹性。服务商整合资源向用户服务，根据用户需求动态分配和重新分配不同的物理资源和虚拟资源。云用户感到资源是无限的，可以随时占用。
3. 测量服务。云系统具有测量不同服务类型(如存储、处理、带宽和活动用户数等)需求量的能力。云自动控制资源分配并最大化利用资源。监视、控制和报告资源使用情况，对用户和服务商透明。
4. 广泛的网络接入。提供持久和高效的网络访问，以适应异构用户平台(如手机、笔记本电脑、平板、工作站等)。

云计算服务模型

设施服务IaaS(Infrastructure-as-a-Service)。

IaaS是最基础、最重要的云服务。
设施服务提供资源整合，包括物理机，虚拟机，及其他形式的资源。
云用户需要在云设施上安装操作系统和所需软件。利用虚拟机，IaaS云服务商通过软硬件集群为用户提供服务。

平台服务PaaS(Platform-as-a-Service)。

提供开放环境服务，包括操作系统、编程语言执行环境、数据库和网络服务器等
应用在PaaS提供商的设施上安装和执行，通过互联网传给终端用户。
根据应用需求自动匹配底层的计算和存储资源规模

软件服务SaaS(Software-as-a-Service)

最广泛使用的云服务，用户在云平台或云设施上运行应用。用户无需搭建自己的服务器、软件和许可证。SaaS按照年或月收取固定费用。
SaaS减少IT运营、软硬件维护和提供云服务成本。
云应用具有扩展性。通过克隆任务到多个运行虚拟机，实现扩展性，满足不断变化的需求。

多媒体云计算特点

1. 多媒体云支持多种类型媒体及其相应服务。
   多媒体服务高度异构，包括多种类型媒体及服务，如IP语音、视频会议、照片共享和编辑、图像检索等；
2. 多媒体云要适应不同终端设备。不同终端具有不同的多媒体处理能力。
3. 多媒体云提供QoS配置满足不同用户QoS需求。

基于内容的图像检索模式

1. 基于颜色直方图的检索
   最简单、最常用的颜色特征，描述了图像颜色的统计分布特性，具有平移、尺度、旋转不变性。
   假设图像G颜色（或灰度）由N级组成，每种颜色值用$q_i(i=1,2,\dots ,N)$表示。在整幅图像中，具有$q_i$颜色值的像素数为$h_i$，则这组像素统计值$h_1，h_2，\dots ，h_N$就是该图像的颜色直方图；
   颜色直方图反映了图像像素在彩色空间的分布状况，而与图像包含的对象(如汽车、房屋、树林等)关系不大。为了建立颜色分布状况与图像中某些位置间的关联关系，除了计算整幅图像的颜色直方图外，还可以将图像分割为一系列区域，并获取每个区域的颜色直方图。
2. 基于骨架或轮廓的检索
   用户通过勾勒图像大致轮廓，从数据库中检索出轮廓相似的图像。
   图像进行轮廓提取，计算轮廓特征，存于特征库中；
   用户通过检索接口的基本绘图工具生成查询要求；
   检索时，通过计算特征的相似距离决定匹配的程度。
3. 基于纹理的检索
   纹理特征包括粗糙性、方向性和对比度等。
   统计方法（根据像素间灰度的统计性质）
   结构方法（根据纹理基元及其排列规则描述纹理的结构及特征）

三、多媒休通信的网络服务及协议

多媒体数据流的特征

比特率可变性

1. 可变比特率传输
   多媒体信息源在不同的时间周期内产生数目不定的数据，网络传输必须适应这种变化。
2. 恒定比特率传输
   媒体信息源以恒定的速率传输，网络必须以恒定的比特率来传输数据流。如CD-ROM。

时间依赖性

连续媒体的传输必须是实时的。
视频会议：声音的实时传输、视频的实时传输
不要求实时的多媒体信息：网页、电子邮件；视、音频片断下载。

信道对称性

上行信道：目的端到源端的通信信道；下行信道：源端到目的端的通信信道
对称：对等式视频会议；不对称：视频点播

网络多媒体的传输要求

基本要求：带宽等
特殊要求：

1. 对连续媒体流的支持能力
2. 具有很强的实时性
3. 具有很强的交互能力
4. 多媒体的时空约束性

通信网络的相关指标

1. 带宽
2. 吞吐量（有效的带宽）：高传输带宽，大缓冲容量
3. 延迟
   
4. 抖动：延迟的变化
   
   
5. 可靠性或丢包率
   音频信息的可靠性要求高于视频、图形信息。
   丢包不一定是坏事，有时候是一种必要的折衷；
   可接受的比特差错率 BER（Bit Error Rate）；
   可接受的分组差错率 PER（Packet Error Rate
   

多媒体传输的三种QoS承诺

QoS是Quality of Service（服务质量）的缩写，是一种网络技术，用于管理和控制网络资源的分配，以确保满足特定应用程序或服务的性能需求。QoS通过分配带宽、控制延迟、限制数据包丢失等手段，为特定的网络流量提供较高的服务质量。
QoS参数举例：

确定型QoS：数据传输过程中网络提供“硬”的QoS保证。

确保通信各方协商好的各QoS参数值，不允许有任何违背，否则可能会造成严重后果。

统计型QoS：数据传输过程中网络提供“软”的QoS保证。

允许对通信各方协商好的各QoS参数值有一定比例的违约，适合于软实时应用。

尽力型QoS：也称最佳效果传输，网络不提供任何QoS保证，

网络性能随着负载增加而下降——目前Internet上大多分布式多媒体应用

为保证端到端的QoS，在媒体流传输路径上的各个中间点（路由器）都必须支持和保证所承诺的QoS，并且按确定型、统计型及尽力型QoS的优先级次序为相应的媒体流分配和保留资源。

实时传输协议RTP(Real Time Transport Protocol)

RTP实际是表示层协议，它规定了音频和视频数据、顺序号和时间戳等信息如何封装在传输层（UDP/TCP）分组中；
从开发者角度，RTP是应用层的一部分
RTP本身不提供任何机制确保数据的按时发送或保证服务的质量，甚至不能保证分组的顺序递交

实时传输控制协议RTCP(Real Time Control Transport Protocol)

RTCP定义在RFC3550，RTP孪生协议，监视QoS，向源反馈数据传输质量，传达组播会话参与者的信息。还为音频和视频同步提供必要信息。RTCP提供一系列报告

当应用程序开始一个RTP会话时将使用两个端口：一个给RTP，一个给RTCP。RTP会话期间，每个参与者周期性向所有其他参与者发送RTCP控制信息包。

实时流协议RTSP (Real-Time Streaming Protocol)

RTSP由RFC2326定义，用于控制流媒体服务器的信令协议。该协议用于建立和控制终端之间的媒体会话。
RTSP由RFC2326定义，用于控制流媒体服务器的信令协议。该协议用于建立和控制终端之间的媒体会话。

资源保留协议RSVP(Resource Reservation Protocol)

RSVP是网络资源预留的设置协议，针对多媒体应用的组播设置。
主要挑战：发送方和接收方可能争夺有限的网络带宽，接收方在要求不同QoS的不同内容时可以是异构的，可以在任何时候加入或者退出组播组。
RSVP标准没有指定网络如何为数据流保留资源，仅是允许应用程序提出保留必要的链路带宽的一个协议。实际是因特网上的路由器为数据流保留带宽，让路由器接口维护途经这个接口的各种数据流信息包。

总结

多媒体数据传输功能由RTP定义，UDP上运行，RTP不能保证QoS，由RTCP监视网络状态，并为应用层自适应提供反馈。RTSP协调媒体对象的传达，并为交互式播放启用丰富的控件集。

用实时协议族的基于C/S基本多媒体流系统。适用在互联网做小规模媒体内容分发。视频等媒体对象由单服务器提供给用户。当媒体内容多、用户多时，就不可行了。

四、Internet多媒体内容分发

流媒体带来新的挑战

1. 巨大的尺寸：传统静态网页对象约1-100K字节。媒体对象数据速率高，播放时间长，产生巨大数据量。
2. 密集的带宽使用：传送的流媒体需要大容量的磁盘I/O和网络带宽，并且需要长时间维持。
3. 丰富的交互性：流媒体对象的长时间播放能引起多种C/S交互。如，近90%媒体播放会被用户过早终止，用户经常快进和倒退。这意味着对于流的不同部分，访问速率可能不同。

内容分发机制

代理缓存
组播
内容分发网络
HTTP流