基于PXA255和嵌入式QT的IP视频电话设计

傳統的IP電話是將語音信號轉變成數字信號，進行打包和壓縮，在數據網上進行傳輸。但近年來， 人們已經不滿足於隻能聽到語音，還希望能見到對方的圖像。本係統就是針對人們的這一需求，在Intel的PXA255平台上利用QT/Embedded圖 形開發工具設計的一個IP視頻電話係統。 

1 硬件係統結構 

整個係統主要是在Intel PXA255評估平台Sitsang板上實現的。PXA255是基於Intel的Xscale架構的嵌入式處理器，該平台配備了大量的硬件資源。整個係統的硬件結構如圖1所示。 

 

2 軟件係統結構 

係 統中采用的是基於Qt/Embedded 2.3.10版本的嵌入式圖形庫。該圖形庫是基於Linux係統的Frame Buffer機製的，並使用基於 該圖形庫的Qtopia 2.2.1 PDA版本的窗口環境管理係統。Qt/Embedded是一個完整的自包含GUI和基於Linux的嵌入式平台開發 工具，是QT的嵌入式開發版本。 

音頻和視頻信號的采集、壓縮、播放和傳輸都是建立在該圖形界麵和嵌入式Linux內核以上的，所以， 在交叉編譯移植嵌入式Linux內核時，要正確配置對USB、Video4Linux、攝像頭和音頻設備的支持以及對Frame Buffer機製的支 持。交叉編譯嵌入式QT時，要配置使其支持多線程、JPEG算法庫、音頻設備以及qvfb（基於X11的虛擬Frame Buffer機製）。本文主要討 論IP視頻電話係統的設計實現，故嵌入式Linux內核和嵌入式QT的配置編譯過程不再詳述。整個係統的軟件結構如圖2所示。

 

3 係統的具體設計 

本IP視頻電話係統主要由音頻采集/播放模塊、視頻采集/播放模塊和網絡傳輸模塊組成。音頻和視頻模塊采樣本地數據，壓縮處理後交給網絡傳輸模塊，由其發送到另一對話端，並從網絡傳輸模塊接收對方的音頻和視頻數據處理後進行播放。 

3.1 網絡傳輸模塊設計 

係 統啟動後，本地服務器端即對5000端口進行監聽。若有IP電話連接進來，則接受連接，為其分配套接字資源，並根據通話類型，生成相應的音頻、視頻類實例 來處理相應的音頻、視頻數據。係統可以實現視頻通話，也可以隻進行語音通話，即實現傳統IP電話的功能，因為音頻、視頻數據格式不同，需要分別做不同的處 理，故采用兩個不同的套接字來進行處理，網絡傳輸模塊服務器端的基本流程如圖3所示。 

 

本 地網絡服務器端用從QServerSocket類繼承的子類IPphoneServer實現。QT/Embedded類庫已經對網絡操作進行了很好的封 裝，所以係統隻利用QT的信號和槽機製，給IPphoneServer類增加一個新的信號－－VoidnewConnect（int）。信號所帶的參數為 套接字號，並重載了QServerSocket的虛子函數成員void newConnect（intsocket）。一旦發現有新的連接，它將把服務器 端給新連接指定的接收套接字號（int socket）通過信號newConnect（int）發送出來，以便主程序設置對應的數據處理套接字。 

在 係統主程序中啟動服務器，並將服務器實例的newConnect（int）信號連接到主程序的newConnect（int）槽函數上。一旦來了新的連 接，server的newConnect（int）被發出，則由主程序的newConnect（int）槽函數接收套接字號並判斷是音頻還是視頻連接後， 將其指定給相應的音頻或視頻數據傳輸套接字，啟動服務器的代碼如下： 

server＝new IPphoneServer（（tPort－＞text（））.toUShort（））；connect（server，SIGNAL（newConnect（int）），SLOT（new－Connect（int）））； 

具體與音頻/視頻模塊相關連進行數據傳輸的套接字從QSocket類繼承來的子類IPPDataSock實現，它增加了一個新的QDataStream類指針成員變量ds來進行數據的傳輸處理，在IPPDataSock的構造函數中被實例化。 

為 音頻和視頻進行數據傳輸的套接字實例分別為aDataSock和vDataSock。若從已方發起連接，先通過QT的信號和槽機製設定相應的套接字連接、 關閉和其他處理槽函數，再使用connectToHost（）函數連接到遠端服務器即可。音頻套接字實例化代碼如下： 

aDataSock＝new IPPDataSock（this）； connect（aDataSock，SIGNAL（connected（）），SLOT（tConnected（）））； connect（aDataSock，SIGNAL（connectionClosed（）），SLOT（tClosed（）））； connect（aDataSock，SIGNAL（readyRead（）），IPAudio，SLOT（canPlay（）））； connect（aDataSock，SIGNAL（error（int）），SLOT（tError（int）））； aDataSock－＞connectToHost（tServer－＞text（）， （tPort－＞text（））.toUShort（））； 

3.2 音頻采集/播放模塊設計 

音頻采集/播放模塊 主要是實現IP電話的音頻處理，由自定義類IPAudio來實現，因為係統要同時發送本地音頻數據給對話端並接收來自對話端的音頻數據在本地播放，而隻有 一個音頻編解碼設備，所以音頻設備必須以全雙工方式工作，音頻采集/播放模塊的主要工作流程如圖4所示。 

 

係統采用的是Linux操作係統，其下的音頻編程遵循OSS（Open Sound System）音頻接口標準，OSS是Unix/Linux平台上統一的音頻接口，隻要音頻處理應用程序按照OSS的API來編寫，它就可以提供源代碼級的可移植性。 

Linux 下的設備全部使用設備文件來管理，本係統使用的數字音頻設備為/dev/dsp。可以播放或錄製數字化的聲音，讀這個設備就相當於錄音，寫這個設備就相當 於放音，它使用8位（無符號）線性編碼，其主要指標參數有：采樣速率（電話為8Kbps）、聲道數目（單聲道、立體聲）和采樣分辨率（8位、16位）。

在進行音頻的采集和播放之前，必須先打開該音頻設備並適當設置一些工作參數，這些都在IP Audio類的構造函數中實現，其中的一些參數和操作都被定義在"soundcard.h"頭文件中。 

首先，要打開音頻設備。因為係統在通話時要同時進行錄音和放音，所以使用讀寫模式，相關代碼片斷如下： 

int audio_fd；
if（（audio_fd＝open（"/dev/dsp"，O_RDWR））＜0） …//錯誤處理 
打開設備後，為了正常地工作，設置一些相應的工作參數。 

1）先設置為全雙工工作模式，並檢查是否設置成功，代碼如下：  
 


設 置好各個參數後，就可以進行視頻的采集和播放了，采集及錄音使用OSS提供的read（）函數，播放則使用對應的write（）函數，直接對音頻設備 /dev/dsp進行操作，由於進行IP電話通話時，要進行不間斷錄音和放音，但音頻設備的輸入/輸出緩衝區的大小是有限的，必須不斷循環使用，因此采用 QT/Embedded的信號和槽機製來實現，係統采集完一次數據並發送出去後，給IPAudio類自身發送一個canRecord（）信號，而采集函數 本身是一個槽，接收到canPlay（）信號後又開始下一次采集。這樣循環不斷，代碼片斷如下：


public slots； void record（） { int len； if（ioctl（audio_fd，SOUND_PCM_SYNC，0）＝＝－1） //同步 … //錯誤處 理 if（len＝read（audio_fd，buf，1024））！＝1024） //錄 音 printf（"Read wrong number of bytes ％d/n"，len）； else{ （＊ （aDataSock－＞ds））＜＜buf； //發送采集的音頻數據給對話端 emit canRecord（）；//發送可錄音信號 } } 
當係統接收到對話端發送過來的音頻數據時，音頻接收套接字aDataSock發送一個readyRead（）數據已準備好的信號給IPAudio類的槽函數play（）來播放這段音頻。套接字aDataSock初始化時的語句 
connect（aDatasock，SIGNAL（readyRead（）），IPAudio，SLOT（play（）））； 

即實現這個功能，播放時為了避免要播放的數據太多而導致設備被阻塞，還須先檢測音頻設備的輸出緩衝區是否有足夠的空間，以使係統能夠正常工作。代碼如下： 


這樣，係統就可以實現無阻塞的音頻采集和播放，一個傳統的IP語音電話就實現了，係統退出時，用close（）函數關閉音頻設備即可。 

3.3 視頻采集/播放模塊設計 

視頻采集和播放模塊實現了通過攝像頭采集本端影像視頻傳輸給對話方並接收對方的視頻數據還原成影像顯示在本端屏幕上的功能，也是本IP電話係統的先進之處，程序中用多的一些Video4Linux支持的專用視頻數據結構如下： 

1）video_capability， 包含攝像頭的基本信息，如設備名稱、支持的最大最小分辨率、信號源信息等，分別對應著結構體中成員變量name[32]、maxwidth、 maxheight、minwidth、minheight、channels（信號源個數）、type等； 

2）video_picture，包含設備采集圖像的各種屬性，如brightness（亮度）、hue（色調）、contrast（對比度）、whiteness（色度）、depth（深度）等；

3）video_mmap，用於內存映射； 

4）video_mbuf，利用mmap進行映射的幀信息，實際上是輸入到攝像頭存儲器緩衝中的幀信息，包括size（幀的大小）、frames（最大支持的幀數）、offsets（每幀相對基址的偏移）； 

5）video_Window，包括設備采集窗口的各種參數。 

視頻采集/播放模塊的基本工作流程如圖5所示。 

 
係 統使用從QWidget繼承而來的IPVideo類進行視頻數據的處理，在采集和播放之前，必須先對視頻設備初始化，正確配置一些工作參數，打開視頻設備 仍然使用open（）函數，設備文件名為/dev/video0，在構造函數中完成並對函數設備初始化，初始化是通過讀取攝像頭的一些信息來設置設備采集 窗口的大小，如下： 

struct video_capability cap； struct video_window win； if（ioctl（video_fd，VIDIOCGCAP，＆cap）＝＝－1） // 讀取攝像頭信息 …//錯誤處 理 w＝win.width＝cap.maxwidth； h＝win.height＝cap.maxheight； frameSize＝w＊h； if（ioctl（video_fd，VIDIOCSWIN，＆win）＝＝－1） // 設置采集窗口大小 …//錯誤處理 


進行初始化設備工作後，就可以對視頻圖像進行采集了，通常有兩種方法：一種是使用 read（）直接讀取視頻數據；另外一種是通過mmap（）內存映射來實現，read（）通過內核緩衝區來讀取數據，而mmap（）通過把設備文件映射到 內存中，繞過了內核緩衝區，加速了I/O訪問，顯然比使用read（）函數快。所以在係統實現中采用mmap（）內存映射方式。

利用mmap（）方式對視頻進行采集時，先獲得攝像頭存儲緩衝區的幀信息，之後修改video_mmap中的設置，可以重新設置圖像幀的重新及水平分辨率、彩色顯示格式，接著把攝像頭對應的設備文件映射到內存區，代碼片斷如下：  

 

這 樣攝像頭設備所采集的內容就映射到了內存緩衝區pixBuf中，該映射內容區可讀可寫並可與其他進程共享。將係統設置為單幀采集模式，當1幀數據采集完畢 時，通過vDataSock套接字將視頻數據傳送給對方，然後發一個canSample（）信號給自身再開始下一幀數據的采集，如下：  
 

在 采集視頻數據的同時，還要顯示對方傳輸過來的視頻數據，當對方的數據被接收到時，係統利用vDataSock的readyRead（）信號告訴 IPVideo將其顯示出來。IPVideo使用QT/Embedded的QImage和QPainter類來實現圖像數據的顯示，先初始化，為了使圖像 重畫時不閃爍，設置WRepaintNoErase重畫不擦除標誌，如下： 

p＝new QPainter（）； image＝new QImage（（uchar＊）buff，w，h，32，0，0，（QImage：：Endian）0）； setWFlags（getWFlags（）|Qt：：WRepaintNoErase）； 

重載IPVideo的paintEvent（）函數，加載buff中接收過來的視頻數據，並在屏幕上畫出來，代碼如下： 

void paintEvent（QPaintEvent＊） { image－＞loadFromData（（uchar＊）buff，frameSize）； p－＞begin（this）； p－＞drawImage（0，0，＊image）； p－＞end（）； } 

在IPVideo中增加一個槽函數show（），專門接收vDataSock的readyRead（）信號，一旦接收到了，就通過 vDataSock的ds將視頻數據流導入buff緩衝區中，並調用updata（）函數，該函數將激活paint事件，調用paintEvent（）函 數進行視頻的更新重畫。這樣，隨著不停地接收到對方的圖像數據，就實現了遠端視頻的播放，雙方就能進行語音和視頻同步的IP通話了。 

4 小結 

本 係統主要是針對嵌入式手持設備，可與PC或同類型的手持機進行IP視頻電話通信，擴展了傳統IP電話的功能，彌補了沒有圖像的缺點，並且體積小、攜帶方 便、全圖形界麵，操作簡單，采用無線上網，隻要網絡支持，可以隨時隨地使用，另外還可以做終端監控之用，可以固定也可以移動監控，廣泛地應用於工廠、銀行 及小區等眾多場合，具有比較廣闊的市場和應用前景。