关闭

Mediastream2 用法介绍及简明实例分析

573人阅读 评论(0) 收藏 举报

linphone是一个轻量级voip客户端,linphone的架构设计十分的清晰,其底层音视频引擎mediastream2是一个独立的模块,基于它可以很容易的实现各种音视频的应用。

linphone 整体架构介绍

http://www.linphone.org/eng/documentation/dev/

linphone拥有自己的用户接口和核心引擎(音频/视频引擎),允许在相同的函数基础上建立不同的用户接口。

  • 用户接口

GTK+用户接口

命令行接口(linphonec, linphonecsh)

IPhone用户接口(基于objective C)

基于Java实现的Andorid应用

  • liblinphone,核心引擎:提供了高度容易扩展的函数接口,它是一个功能强大的SIP VoIP video SDK,我们可以基于该框架实现任意的语音/视频应用。

liblinphone基于下列组件实现:

mediastream2,功能强大的音/视多媒体SDK,用于创建和处理音视频流

oRTP,简单的RTP处理库。

eXosip,SIP UA 库,其基于libosip2实现。

 

linphone和liblinphone都是使用C语言实现的,下面为linphone的整体结构。




Mediastream2实现机制

http://www.linphone.org/eng/documentation/dev/mediastreamer2.html

 

mediastream2是一个功能强大的,轻量级流处理引擎,特别适合于音视频电话应用方面的开发。它能够完成音视频流的捕获、接收、发送、编码、解码、渲染等功能。

 

特性:

  1. 可以捕获、重放多种基于各种平台音频架构(ALSA, AudioUnits, AudioQueue, WaveApi)。
  2. 接收、发送RTP数据包。
  3. 支持如下的音视频编解码格式:音频speex, G711, GSM, iLBC, AMR, AMR-WB, G722, SILK, G729; 视频: H263, theora, MPEG4, H264 and VP8.
  4. 支持音频的wav格式文件的读取和保存。
  5. 捕获摄像头的YUV图片格式(基于平台独立的API)。
  6. 优化,渲染YUV图片。
  7. 立体声输出。
  8. 自定义声音侦测。
  9. 回声消除,基于speex库 和Android上的webrtc AEC机制。
  10. 支持音频会议。
  11. 支持音频参数均衡。
  12. 音量控制,自动增益控制。
  13. 具有IEC NAT穿越动能。
  14. 自适应比特率控制算法:根据接收的RTCP反馈信息自动适应编码速率。

mediastream2以扩展插件的形式支持H264, ILBC, SILK, AMR, AMR-WB and G729。

 

设计和原理:

mediastream2中每一个处理实体都包含一个MSFilter结构,每一个MSFiter有一个或者若干个输入和输出,通过这些输入和输出可以将各个MSFilter连接起来。

下面为一个简单的例子:

  1. MSRtpRecv:接收网络上的数据包,解包后将它们输出到下一个MSFilter。
  2. MSSpeexDec:接收输入的音频数据包(假设音频用speex编码),解码并输出到下一个MSFilter。
  3. MSFileRec:接收输入的语音数据并保存为wav格式文件(假设输入为16bit 线性 PCM)。

MSFilter可以被串接成一个filter链,我们接收网络上的RTP包,然后解码并保存成一个wav文件。

MSRtpRecv --> MSSpeexDec --> MSFileRec  
 

媒体处理中的调度对象为MSTicker,它一个独立的线程,其每10ms被唤醒一次,然后它会处理他所管理的媒体链的数据。几个MSTicker可以同时运行,例如,一个负责处理音频,一个负责处理视频,或在不同的处理器中运行不同的MSTicker。

 

以上是Linphone官方网站上的介绍,下面我们实现一个本地录音机实例来具体说明MSFilter到底是如何工作的。



本地录音机的实现

 

1.Filter的分类和定义

从源码目录我们可以看到Filter大概分为以下几种,音频,视频和其他。

 

音频Filter

├── aac-eld.c

├── alaw.c                  ITU-G.711 alaw encoder & decoder

├── ulaw.c                 ITU-G.711 ulaw encoder & decoder

├── l16.c                    L16 dummy encoder & decoder

├── msg722.c            G.722 wideband encoder & decoder

├── msopus.c            opus encoder & decoder

├── msspeex.c           speex encoder & decoder

├── gsm.c                   GSM encoder & decoder

├── oss.c                    Sound playback & playback filter for OSS drivers

├── alsa.c                   Sound playback & playback filter ALSA Driver

├── macsnd.c            Sound playback & playback filter for OSX Audio Unit

├── arts.c                   Sound playback & playback filter aRts Driver

├── pasnd.c               Sound playback & playback filter Port Audio

├── winsnd.c             Sound playback & playback for Windows Sound drivers

├── aqsnd.c               Sound playback & playback for OSX AudioQueueService

├── pulseaudio.c       Sound input & output plugin based on PulseAudio

├── audiomixer.c      A filter that mixes down 16 bit sample audio streams

├── chanadapt.c              A filter that converts from mono to stereo and vice versa

├── dtmfgen.c           DTMF generator

├── equalizer.c          Parametric sound equalizer

├── genericplc.c        Generic PLC

├── msconf.c             A filter to make conferencing

├── msfileplayer.c    Raw files and wav reader

├── msfilerec.c          Wav file recorder

├── msresample.c     Audio resampler

├── msvolume.c        A filter that controls and measure sound volume

├── tonedetector.c    Custom tone detection filter

├── speexec.c           Echo canceller using speex library(回声消除)

├── webrtc_aec.c       Echo canceller using WebRTC library(回声消除)

 

视频Filter

├── h264dec.c                 H264 decoder

├── videodec.c                 H.263 MPEG4 MJEPG snow decoder

├── videoenc.c                 H.263 MPEG4 MJEPG snow encoder

├── theora.c                            theora encoder & decoder

├── vp8.c                          VP8 encoder & decoder

├── drawdib-display.c    A video display based on windows DrawDib api

├── extdisplay.c               A display filter sending the buffers to draw to the                                        upper layer

├── x11video.c          A video display using X11+Xv

├── glxvideo.c           A video display using GL (glx)

├── videoout.c           A SDL-based video display

├── jpegwriter.c        Take a video snapshot as jpg file

├── mire.c                  outputs synthetic moving picture

├── nowebcam.c       A filter that outputs a static image.

├── pixconv.c            A pixel format converter

├── sizeconv.c           a small video size converter

├── wincevideods.c  A video4windows compatible source filter to stream pictures

├── msv4l2.c             A filter to grab pictures from Video4Linux2-powered cameras

├── msv4l.c               A video4linux compatible source filter to stream pictures

├── winvideo2.c        A video for windows (vfw.h) based source filter to grab pictures

├── winvideo.c          A video4windows compatible source filter to stream pictures

├── winvideods.c      A video4windows compatible source filter to stream pictures

 

其他Filter

├── msrtp.c               RTP input & ouput

├── tee.c              Reads from input and copy to its multiple outputs

├── join.c             Send several inputs to one output

├── itc.c               Inter ticker communication

└── void.c                 Trashes its input (useful for terminating some graphs)

 

核心组件

├── eventqueue.c     事件队列

├── mscommon.c      初始化等

├── msfilter.c        Filter定义

├── msqueue.c          队列结构

├── mssndcard.c       声卡处理

├── msticker.c           定时器

├── mswebcam.c      摄像头处理

└── mtu.c                   MTU

 

每个Filter都定义有一个描述信息,所有Filter的描述在ms_base_filter_descs[]ms_voip_filter_descs[]两个数组中定义,下面以Tee Filter为例说明,后面我们会用到。

 

我们可以根据ID或者描述构造一个Filter对象,如:

MSFilter *tee=ms_filter_new(MS_TEE_ID)

 

要回收此对象,如:

ms_filter_destroy(tee);

 

或者调用此对象的某种方法,如:

ms_filter_call_method(tee,MS_TEE_UNMUTE,&pin);

 

方法都是在上面tee_methods数组中定义的,Tee只有两种方法

static MSFilterMethod tee_methods[]={

       {     MS_TEE_MUTE  ,      tee_mute     },

       {     MS_TEE_UNMUTE    ,tee_unmute       },

       {     0     ,      NULL            }

};

 

tee_init 在构造对象时执行一次,tee_uninit在回收时执行一次,tee_process在每次调度时执行。

 

 

2.声卡的管理和使用

声卡的处理在核心组件mssndcard.c中统一管理和使用。

在文件中的开头定义了声卡的全局管理句柄,在库初始化时会把所有可用的声卡挂载到这个链表上。

 

static MSSndCardManager *scm=NULL

struct _MSSndCardManager{

                  MSList *cards;

                  MSList *descs;

};

 

Filter类似,每种声卡也有一个描述信息,所有声卡的描述在ms_snd_card_descs[] 数组中定义,相当一个容器:



ms_init() 函数在初始化库的时候依次注册ms_snd_card_manager_register_desc列表中支持的驱动,执行相应的etect函数侦测声卡,然后构造声卡对象并调用对象的Init函数;

 

当我们需要一个采集或者回放的Filter时,可以直接调用:

MSSndCard *card_capture =ms_snd_card_manager_get_default_capture_card(ms_snd_card_manager_get());

 

ms_snd_card_manager_get() 返回一个全局的声卡管理句柄,

ms_snd_card_manager_get_default_capture_card() 扫描全局的管理句柄中注册的声卡设备,并返回第一个可用的声卡对象。

 

继续调用声卡对象的CreateReader方法,可以得到的声音采集的MSFilte对象。

MSFilter *filte_capture=ms_snd_card_create_reader(card_capture)

 


3.设计Filter

现在我们来设计我们的Filter链,有些文档叫Graph.




总共需要4Filter,采集,复制,保存和回放,Tee Filter在上文已经简单了解过了,他可以把一份数据拷贝到多出。

 

要使用Filter要先进行mediastream2 oRTP的初始化,mediastream2库依赖于oRTP库,先初始化oRTP:

ortp_init();

 

然后初始化mediastream2库:

ms_init();

 

我们先简单看一下,他的初始化都大概做了些什么?

    ms_base_filter_descs[]ms_voip_filter_descs[]数组上面提到过,定义了所有的Filterms_snd_card_descs[]上面也提到过,定义了所有的声卡驱动,此处就是把所有的定义注册到系统中,摄像头的管理和使用方式其实和声卡是类似的,在后面的视频流实例中我们会用到。最后是加载插件,像我们后面要用到的H.264编码器,在程序中是没有的,前面提到过,是以插件的形式提供的,其实就是动态库的形式。所有的东西都注册完毕,我们就可以创建我们要用的Filter了。

 

1.创建Filter

MSSndCard *card_capture= ms_snd_card_manager_get_default_capture_card(ms_snd_card_manager_get());

MSSndCard *card_playback= ms_snd_card_manager_get_default_playback_card(ms_snd_card_manager_get());

 

MSFilter *capture=ms_snd_card_create_reader(card_capture);

MSFilter *playback=ms_snd_card_create_writer(card_playback);

MSFilter *tee=ms_filter_new(MS_TEE_ID);

MSFilter *rec=ms_filter_new(MS_FILE_REC_ID);

 

2.设置Filter

int rate=48000;

ms_filter_call_method (capture, MS_FILTER_SET_SAMPLE_RATE,&rate);

ms_filter_call_method (playback, MS_FILTER_SET_SAMPLE_RATE,&rate);

ms_filter_call_method (rec,MS_FILTER_SET_SAMPLE_RATE, &rate);

ms_filter_call_method(rec,MS_FILE_REC_OPEN,"test.wav");

ms_filter_call_method_noarg(rec,MS_FILE_REC_START);

 

3.连接Filter

ms_filter_link(capture,0,tee,0);

ms_filter_link(tee,0, playback,0);

ms_filter_link(tee,1,rec,0);

 

4.开始调度

MSTicker *ticker=ms_ticker_new();

ms_ticker_attach(ticker, capture);

 

此后每隔10ms,就会对Filter处理一次。

 

5.停止调度,解除连接并资源回收

ms_filter_call_method_noarg(rec,MS_FILE_REC_CLOSE); //很重要,重写wav文件头

ms_ticker_detach(ticker, capture);

ms_ticker_destroy(ticker);

ms_filter_unlink(capture,0,tee,0);

ms_filter_unlink(tee,0, playback,0);

ms_filter_unlink(tee,1,rec,0);

ms_filter_destroy(capture);

ms_filter_destroy(playback);

ms_filter_destroy(tee);                                                 

ms_filter_destroy(rec);

 

 

到此,一个有本地录音回放的小程序就实现了。下面用一个视频回放并录制h.264裸码流的实例来说明mediastream2中对视频流是如何处理的。


本地录像机的实现

 

1.和本地录音机一样,还是先设计我们的Graph

 



未完待续......

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:16803次
    • 积分:275
    • 等级:
    • 排名:千里之外
    • 原创:2篇
    • 转载:51篇
    • 译文:0篇
    • 评论:1条
    文章分类
    最新评论