html音频控制的参数,基于内容的音频参数提取与动画控制实现

摘要:互联网上传送的数据以图像信息和音频信息等多媒体信息为主。近几年来,多媒体信息越来越趋向多元化和综合化,因而音频信息和视觉信息综合化也成为趋势。在此基础上,音频信息转化成视觉信息成为迫切需求。该系统以Visual C++为计算平台,提取出了4个音频特征参数,包括短时平均能量、过零率、频谱能量和倒谱值等。而动画对象采用Opengl技术绘制,动画的动作由提取出来的特征参数来控制,最终实现实时音频控制动画运动。

关键词:基于内容;音频;特征参数;动画;实现

中图分类号:TP393文献标识码:A文章编号:1009-3044(2009)33-9513-02

Content―based Audio Parameter Extraction and Animation Realization

ZHOU Wen

(Shandong normal university, Ji'nan 250014, China)

Abstract: On the Internet, the datas are transmitted primarily by multimedia informations, including image information and audio information. In the last few years, more and more multimedia informations tend to the multiplication and integration, thus the audio frequency information and the visual information integration also becomes the tendency . On this basis, the audio frequency information into the visual information has become the urgent demand. This system takes Visual C++ as the platform , extracts 4 audio frequency characteristic parameters, including Short-time moderate energy, Zero crossing rate, Frequency spectrum energy , Cepstrum value and so on. The animation object uses the Opengl technology plan.The animation movements are controlled by the characteristic parameter and finally the real-time audio frequency realizes.

Key words: content-based; audio; parameters; animation; realization

在当今数字化与网络化时代,多媒体信息逐渐成为互联网信息高速网络上所传送数据的主要部分。多媒体信息包括图像,音频和视频信息。其中,对声音信号进行数字化处理得到的信息就是音频信息。人耳在接受到音频信号后,这些音频信号被大脑皮层中的感知器官处理,而后形成音频场景。但是很多人不能形成音频场景,比如聋哑听力障碍人士。而且,随着多媒体信息的多元化和综合化,音频信息和视觉信息的综合化越来越成为趋势,那么如何将音频信息转化为视觉信息呢?

本文就该问题,提出了一种将音频信息转化成视觉信息的方法。首先提取音频信息的特征参数,然后用计算机图形学构造动画对象,最后用这些特征参数来控制动画视觉场景。本文结尾部分给出了这种方法的仿真结果。

1 音频特征提取

提取音频特征参数之前,首先要对音频文件进行加窗处理[1]。即把音频文件划分一个个小段,每个小段称为一帧,每帧的长度为500毫秒,相邻的两帧之间有340毫秒的重叠,然后对每帧进行音频特征提取。而所谓的音频特征就是用来表征音频信息的数据。根据特征空间的不同,特征提取分为在时域,频域和时频域三类[1]。

1.1 音频时域特征

音频的时域特征提取包括短时平均能量,过零率等。短时平均能量反映了音频能量幅度的变化,经常用来区分静音,非静音,清音和浊音[2]。描述函数为: 。其中x(n)表示第m个帧信号第n个采样信号值。过零率是指在一个短时帧内,离散采样信号值由正到负,由负到正变化的次数,反映了信号在短时帧内的平均频率。描述函数如下: 。其中x(n)表示第m个帧信号第n个采样信号值。实际计算中,为了避免静音段的随机噪声产生的过高过零率,这里设定了一个门限值[3]:delta=0.02。当前后两个采样的符号不同,并且差值大于这个门限值时,过零率的数值加1。

1.2 频域特征提取

所谓频域特征提取,就是将音频信号先进行傅立叶变换,分析出组成该音频信号的不同频率和不同幅值的谐波,对这些谐波进行特征系数的提取[1]。可提取的频域特征有:能量谱,倒谱特征等。能量谱可用来分析该音频文件能量分布,用来提取构成该音频的主要频率。由帕斯维尔等式:得出,x(t)的能量可以由频域值|x(f)|2计算。|x(f)|2就称为x(t)的能量谱。倒频谱是对数功率谱的频谱。倒谱的基本概念如下,当有两个信号卷积s=Σx(n)v(n-m),s傅里叶变换后成为它们各自傅里叶变换的相乘:S=FT(s)=X(k)V(k),把S取对数再逆傅里叶变换,便得到它们各自对数谱的逆傅里叶变换相加:c=iFT(ln|X(k)|+ln|V(k)|)=iFT(ln|X(k)|)+iFT(ln|V(k)|) ,c便是(实)倒谱。在倒谱中原卷积的信号变成它们倒谱的相加。任何一个语音是由声门波和声道的卷积而成的,用倒谱的方法得到声门波的频率(音调)和声道的特征(共振峰)是提取语音特征参数的一种方法[3]。

1.3 时频特征提取

某些音频信号具有很强的时变特性,在这段时间内表现出周期信号的特性,而在另一个时间段表现出噪音特性[2]。对于这些时变剧烈的音频信号,不能仅从时域分析,也不能仅从频域分析,因为傅立叶变换只顾及全局特性,而牺牲局部特性,因而引入短时傅里叶变换[4]。思想是:假定非平稳信号x(t)在分析窗函数g(t)的一个短时间间隔内是平稳的,并移动分析窗函数,使x(x(t))g(t-τ)在不同的有限时间宽度内是平稳信号,从而计算出各个不同时刻的功率谱。

本系统实现实时音频特征参数控制动画场景,鉴于以上特性,本系统最终提取的音频特征参数是:短时平均能量、短时平均过零率、短时傅频能量、短时倒谱值[5]。

2 动画对象的构造及实现

2.1 动画对象构造

计算机图形学是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学[6]。使用计算机图形学可以利用计算机产生令人赏心悦目的真实感图形。本文动画对象的绘制采用OpenGL[7]。OpenGL作为一种图形与硬件的接口,与其他图形程序相比,大大简化了绘制三维图形的过程。OpenGL具有超强的图形绘制能力,包括绘制物体、启动光照、管理位图、纹理映射、动画、图像增强以及交互技术等功能[8]。

2.2 交互映射

一个动画对象的运动形式可以包含多种,包括平移,旋转,变色,伸缩等,其中每一种又可以包含许多形式,例如平移可以分为水平、竖直等;旋转又可以分为沿x轴、沿y轴、沿z轴等。将提取出来的音频特征参数通过自选的形式控制动画对象的动作,使动画对象随着声音特征的变化而起伏,这样便实现了音频信息转化成视觉信息。

3 仿真结果

打开音频文件,加载背景图片,显示音频文件的信息,包括文件名,声道,采样率,位长等,同时实时显示提取出来而音频特征参数,包括短时平均能量、过零率、频谱能量和倒谱等,动态显示它们各自的图谱。选择各个参数对应的动画对象及其动作。仿真实验中,短时平均能量控制荷花,使其水平移动;过零率控制荷叶使其水平移动;频谱能量控制蝴蝶,使其弧线移动;倒谱控制月亮,使其水平移动。总的映射结果如图4所示。点击动画播放,最终音频参数控制的动画场景如图5所示。并且结果显示,当音乐播放完毕时,动画停止,实现了实时动画。

5 结束语

通过以上方法,提取出了音频的特征参数,实现实时音频参数控制动画对象的运动,将音频信息转化成了视觉信息。通过仿真结果可以看出这种方法的可实现性。当然,这个仿真软件也存在不足,比如动画的对象构造是由OpenGL绘制出来的,代码复杂,与用户交互少等。这些还需要在以后的学习中逐渐改进。

参考文献:

[1] 庄越挺,潘云鹤,吴飞,等.网上多媒体信息分析与检索[M].北京:清华大学出版社,2002:122-143.

[2] 李国辉,李恒峰.基于内容的音频检索:概念和方法[J].小型微型计算机系统,2000(11):1173-1177.

[3] 何强,何英.Matlab扩展编程[M].北京:清华大学出版社,2002.

[4] 李博轩.多媒体开发指南[M].北京:清华大学出版社,2000.

[5] 肖宏伟.Visual C++实效编程百例[M].北京:人民邮电出版社,2002.

[6] 郭晶,刘韦韦.Visual C灵感编程[M].北京:电子工业出版社,2002.

[7] 段兴.Visual C++实用程序100例[M].北京:人民邮电出版社,2002.

[8] 郭兆荣,李菁.王彦,等.Visual C++ OpenGl 应用程序开发[M].北京:人民邮电出版社,2006.