qiang liID:aoosang
120806次访问,排名677好友0人,关注者15
多年一直致力于多媒体和流媒体领域的开发工作
aoosang的文章
原创 34 篇
翻译 0 篇
转载 5 篇
评论 106 篇
最近评论
shaolove2011:源码给我一份好吗 ,我是初学者 谢谢
我的邮箱shaolove2007@163.com
test:写的不错。
http://bbs.aisnote.com/coms/files/folders/aisnote/entry32.aspx
ainote笔记,记后不忘记。

记科研笔记,用ainote。

写行事历,用ainote。

ainote日程时间统统管牢。

ainote玩转flash……
kevin_moon:探讨个问题,我读取一个avi文件使用你所述的数据结构,在STRF处总是出问题,虽然可以继续读下去,但是得到的biWidth等数据显示不对。
而用这样的结构可以读取且正确:
typedef struct _avivideoinfo{
FOURCC fccStrf;
DWORD cb;
BITMAPINFOHEADER b……
GHP:智慧的鱼的文章总体是好的,但是有几个问题值得商榷:
文章中:"1信息块,一个ID为”hdrl”的LIST块,定义AVI文件的数据格式。
2数据块,一个ID为 “movi”的LIST块,包含AVI的音视频序列数据
3索引块,ID为 “idxl”的子块,定义 “movi”LIST块的索引数据,是可选块。" 的三个ID似乎不是ID,它们的ID都是"LIST",”hdr……
丁:我正在做声音录制控件程序,有没有能录音放音的工程,发为我一个。谢谢。
acplay@126.com
文章分类
收藏
    相册
    文档图片
    相册
    我的链接
    Alva Chien's CSDN Blog
    Direct3D 9.0 SDK 文档(中文版)
    eyes4的专栏
    奔跑的blog
    我在天极的blog
    陆其明的blog,大家可以去看看
    存档
    订阅我的博客
    XML聚合  FeedSky

    原创 用DirectShow实现QQ的音视频聊天功能 收藏

    新一篇: AVI族函数的说明 | 旧一篇: Directsound开发指南(4)

      当下比较流行的即时通信工具,比如MSN,QQ等都实现了视音频的功能,通过视频,音频,我们可以更好的和朋友通过网络进行沟通,本文通过DirectShow技术模拟QQ实现了视频和音频的采集,传输,基本实现了QQ的视音频聊天的功能。

            网络视音频系统主要功能就在于视音频的采集,网络传输两个方面,通过Video Capture系列API函数,你就可以轻松的搞定视频捕捉,但是对于视频的网络传输,则要费一番功夫了。 对于视音频数据的传输,只简单地使用数据报套接字传输音视频数据是不可行的,还必须在UDP层上采用RTP(实时传输协议)和RTCP(实时传输控制协议)来改善服务质量。实时传输协议提供具有实时特征的、端到端的数据传输服务。我们在音视频数据前插入包含有载荷标识、序号、时间戳和同步源标识符的RTP包头,然后利用数据报套接字在IP网络上传输RTP包,以此改善连续重放效果和音视频同步。实时传输控制协议RTCP用于RTP的控制,它最基本的功能是利用发送者报告和接收者报告来推断网络的服务质量,若拥塞状况严重,则改用低速率编码标准或降低数据传输比特率,以减少网络负荷,提供较好的Q.S保证。

      Directshow对于音视频的采集提供了很好的接口,利用ICaptureGraphBuilder2接口可以很轻松的建立起视频捕捉的graph图,通过枚举音频设备Filter,也可以很轻松的实现音频的捕捉,有点麻烦的是音视频数据的传输,我们可以自己封装RTP和RTCP的协议,来自己实现一个filter,用来发送和接收音视频数据,当然了Directshow也提供了一组支持使用RTP协议的网络传输多媒体流的Filters。你也完全可以用Directshow提供的RTP系列的filter实现数据的传输。

      下面分析一下这些RTP Filters。

      新定义的Filter包括 RTP Source Filter ,RTP Render Filter,RTP Demux Filter,RTP Receive Playload Handler (RPH) filter,RTP Send Payload (SPH) filter,使用这5个filter构建一个通过RTP协议传输音视频数据的Graph是没有问题的。

      RTP Source filter被用来从一个单独的RTP会话中接收RTP和RTCP包。这个filter提供一个指定发送给其它主机RTCP接收器报告和指定网络地址和端口接口来接收RTP会话的接口。

      RTP Rend filter是用来将数据发到网络上的一个filter,这个filter也提供了和RTP source Filter 类似的接口。

      RTP Demux filter用来多路分离来自 RTP Source filter的RTP 包,这个filter有一个或者多个输出的pin。这个Filter提供了如何控制多路分离和如何分配到特定输出pin的接口。

      RTP RPH Filter 是用来网络过来的RTP包还原成原来的数据格式,主要支持H.261,H.263,Indeo,G.711,G.723和G.729和常见的多种音视频负载类型。

      RTP SPH filter则和RPH filter的功能相对,它的任务是将音视频 压缩filter输出的 数据分解为RTP包,它提供的接口有指定最大生成包大小和pt值。

      下面我们看看如何用这些filter来搭建我们采集和传输的graph图。




      图1和图2展示了DirectShow RTP中定义的filters如何运用。图1是一个采集本地多媒体数据并使用RTP协议通过网络发送的filter graph。它包含一个输出原始视频帧的视频采集filter,紧跟一个压缩帧的编码filter。一旦压缩,这些帧就会被发送到RTP SPH filter,分片打包,生成RTP包,对应的发送到 RTP Render filter,通过网络传输这些包。图2展现了一个filter graph,用来接收包含视频流RTP包,播放视频。这个graph由一个用来接收包的RTP Source filter,一个根据源和负载类型进行分类的RTP Demux filter,一个把RTP包转为压缩视频帧的RTP RPH filter组成。这些filter随后的是用来解压帧的解码filter,一个显示未压缩帧的渲染filter。

      有了RTP filter的帮助我们就可以完成类似qq的功能了,可以实现在网络上进行视频和音频的交互了,下面我给出在网络上两个客户端A和B进行音频和视频交互的Graph图。这里我对图1和图2中的RTP filter进行了自己封装,将编解码filter直接封装到了RTP Source filter 和RTP Render filter中,这样Graph图就显得很简洁,RTP Source filter只是用来接收网络过来的音视频数据,然后将数据传递给客户程序,RTP Render filter则是将采集到的音视频数据发送到网络上的另一个客户端,编解码则的工作则封装到这两个filter之中。


    图3 网络视频和音频交互的Graph图

      如果你也想自己封装自己的Source 和Render filter,首先你要选择自己的编解码,视频编解码是选择H261,H263,还是 MEPG4,音频是选择G729还是G711,要首先确定好。选好编解码,封装的工作就简单了。

      不多说了,下面看看我给出的代码吧。

      首先要定义一下用到的四个RTP filter的CLSID。

    static const GUID CLSID_FG729Render = { 0x3556f7d8, 0x5b5, 0x4015, { 0xb9, 0x40, 0x65, 0xb8, 0x8, 0x94, 0xc8, 0xf9 } }; //音频发送
    static const GUID CLSID_FG729Source = { 0x290bf11a, 0x93b4, 0x4662, { 0xb1, 0xa3, 0xa, 0x53, 0x51, 0xeb, 0xe5, 0x8e } };//音频接收
    static const GUID CLSID_FH263Source = { 0xa0431ccf, 0x75db, 0x463e, { 0xb1, 0xcd, 0xe, 0x9d, 0xb6, 0x67, 0xba, 0x72 } };//视频接收
    static const GUID CLSID_FH263Render = { 0x787969cf, 0xc1b6, 0x41c5, { 0xba, 0xa8, 0x4e, 0xff, 0xa3, 0xdb, 0xe4, 0x1f } };//视频发送
    //发送和接收音视频数据的filter
    CComPtr< IBaseFilter > m_pAudioRtpRender ;
    CComPtr< IBaseFilter > m_pAudioRtpSource ;
    CComPtr< IBaseFilter > m_pVideoRtpRender ;
    CComPtr< IBaseFilter > m_pVideoRtpSource ;

    char szClientA[100];
    int iVideoPort = 9937;
    int iAudioPort = 9938;

    //构建视频的graph图,并发送数据
    CComPtr< IGraphBuilder > m_pVideoGraphBuilder; //视频图形管理器
    CComPtr< ICaptureGraphBuilder2 > m_pVideoCapGraphBuilder;
    CComPtr< IBaseFilter > m_pFilterVideoCap;
    CComPtr< IVideoWindow > m_pVideoWindow;
    CComPtr< IMediaControl > m_pVideoMediaCtrl ;
    CComPtr< IBaseFilter > m_pVideoRenderFilter;

    HRESULT CMyDialog::VideoGraphInitAndSend()
    {
     HRESULT hr;
     hr =m_pVideoGraphBuilder.CoCreateInstance( CLSID_FilterGraph );
     if(FAILED(hr))
      return hr;
     hr =m_pVideoCapGraphBuilder.CoCreateInstance( CLSID_CaptureGraphBuilder2);
     if(FAILED (hr))
      return hr;
     m_pVideoCapGraphBuilder->SetFiltergraph(m_pVideoGraphBuilder);
     m_pVideoGraphBuilder->QueryInterface(IID_IMediaControl, (void **)&m_pVideoMediaCtrl);
     m_pVideoGraphBuilder->QueryInterface(IID_IVideoWindow,(void**)&m_pVideoWindow)

     FindDeviceFilter(&m_pFilterVideoCap,CLSID_VideoInputDeviceCategory);
     if(m_pFilterVideoCap)
      m_pVideoGraphBuilder->AddFilter( m_pFilterVideoCap,T2W("VideoCap") ) ;
      //创建预览的filter
     hr = m_pRenderFilterVideo.CoCreateInstance(CLSID_VideoRenderer);
     if(FAILED(hr))
      return hr;
     m_pVideoGraphBuilder->AddFilter( m_pRenderFilterVideo, L"VideoRenderFilter" );
     Connect(m_pFilterVideoCap ,m_pRenderFilterVideo) ;
     //设置预览的窗口

     CRect rc ;
     GetClientRect(m_hOwnerWnd, &rc );
     int iWidth = rc.right - rc.left ;
     int iHeight = rc.bottom - rc.top ;
     int iLeft, iTop;
     if((iHeight*1.0)/(iWidth*1.0) >= 0.75)
     {
      //按宽度算
      int tmpiHeight = iWidth*3/4;
      iTop = (iHeight - tmpiHeight)/2;
      iHeight = tmpiHeight;
      iLeft = 0;
     }
     else
     {
      //按高度算
      int tmpiWidth = iHeight*4/3;
      iLeft = (iWidth - tmpiWidth)/2;
      iWidth = tmpiWidth;
      iTop = 0;
     }
     m_pVideoWindow->put_Owner( (OAHWND) m_hPreviewWnd ) ;
     m_pVideoWindow->put_Visible( OATRUE );
     m_pVideoWindow->put_WindowStyle( WS_CHILD | WS_CLIPSIBLINGS ) ;

     //连接到网络并发送
     CComPtr< IRtpOption > pRenderOption;
     CComPtr< IVideoOption > pVideoOption;

     tagVideoInfo vif(160,120,24);
     int t=((int)(m_iFrameRate/5)*5)+5;
     vif.nBitCount=24;
     vif.nWidth=160;
     vif.nHeight=120;

     hr = ::CoCreateInstance(CLSID_FH263Render, NULL, CLSCTX_INPROC, IID_IBaseFilter, (void **)&m_pVideoRtpRender);
     if(FAILED(hr))
      return hr;
     m_pVideoRtpRender->QueryInterface(IID_IJRTPOption, (void**)&pRenderOption);
     m_pVideoRtpRender->QueryInterface(IID_IVideoOption,(void**)&pVideoOption);
     pVideoOption->SetProperty(&vif);
     pVideoOption->SetSendFrameRate(m_iFrameRate,1);//1 不发送数据,0 实际发送数据
     Connect(m_pFilterVideoCap ,m_pVideoRtpRender) ;
     //连接对方
     hr= pRenderOption->Connect(szClientA,iVideoPort,1024);
     if(FAILED(hr))
      return hr;
     m_pVideoMediaCtrl->Run();
    }
    //视频的接收
    CComPtr< IGraphBuilder > m_pVideoGraphBuilder; //视频图形管理器
    CComPtr< IBaseFilter > m_pFilterVideoCap;
    CComPtr< IVideoWindow > m_pVideoWindow;
    CComPtr< IMediaControl > m_pVideoMediaCtrl ;
    CComPtr< IBaseFilter > m_pVideoRenderFilter;
    HWND m_hRenderWnd ;
    HRESULT VideoRecive()
    {
     HRESULT hr;
     hr=CoCreateInstance(CLSID_FilterGraph,NULL,CLSCTX_INPROC,
     IID_IFilterGraph,(void**)&m_pVideoGraphBuilder);

     m_pVideoGraphBuilder->QueryInterface(IID_IMediaControl, (void **)&m_pVideoMediaCtrl);
     m_pVideoGraphBuilder->QueryInterface(IID_IVideoWindow,(void**)&m_pVideoWindow)
     
     hr = ::CoCreateInstance(CLSID_FH263Source, NULL, CLSCTX_INPROC, IID_IBaseFilter, (void **)&m_pVideoRtpSource);
     if(FAILED(hr))
      return hr;
     m_pVideoGraphBuilder->AddFilter(m_pVideoRtpSource, L"My Custom Source");

     CComPtr< IRtpOption > m_pRtpOption;
     CComPtr< IVideoOption > m_pVideoOption;
     m_pVideoRtpSource->QueryInterface(IID_IJRTPOption, (void **)&m_pRtpOption);
     m_pVideoRtpSource->QueryInterface(IID_IVideoOption, (void **)&m_pVideoOption);

     tagVideoInfo vif(160, 120 ,24);
     m_pVideoOption->SetProperty(&vif);
     hr= pRenderOption->Connect(szClientA,iVideoPort +1,1024);
     if(FAILED(hr))
      return hr;

     //创建预览的filter
     hr = m_pRenderFilterVideo.CoCreateInstance(CLSID_VideoRenderer);
     if(FAILED(hr))
      return hr;
     m_pVideoGraphBuilder->AddFilter( m_pRenderFilterVideo, L"VideoRenderFilter" );
     Connect(m_pVideoRtpSource ,m_pRenderFilterVideo) ;

     CRect rc ;
     GetClientRect(m_hOwnerWnd, &rc );
     int iWidth = rc.right - rc.left ;
     int iHeight = rc.bottom - rc.top ;
     int iLeft, iTop;
     if((iHeight*1.0)/(iWidth*1.0) >= 0.75)
     {
      //按宽度算
      int tmpiHeight = iWidth*3/4;
      iTop = (iHeight - tmpiHeight)/2;
      iHeight = tmpiHeight;
      iLeft = 0;
     }
     else
     {
      //按高度算
      int tmpiWidth = iHeight*4/3;
      iLeft = (iWidth - tmpiWidth)/2;
      iWidth = tmpiWidth;
      iTop = 0;
     }
     m_pVideoWindow->put_Owner( (OAHWND) m_hRenderWnd ) ;
     m_pVideoWindow->put_Visible( OATRUE );
     m_pVideoWindow->put_WindowStyle( WS_CHILD | WS_CLIPSIBLINGS ) ;
     m_pVideoMediaCtrl->Run();

     return S_OK;
    }
    //
    HRESULT FindDeviceFilter(IBaseFilter ** ppSrcFilter,GUID deviceGUID)
    {
     HRESULT hr;
     IBaseFilter * pSrc = NULL;
     CComPtr <IMoniker> pMoniker =NULL;
     ULONG cFetched;

     if (!ppSrcFilter)
      return E_POINTER;

     // Create the system device enumerator
     CComPtr <ICreateDevEnum> pDevEnum =NULL;

     hr = CoCreateInstance (CLSID_SystemDeviceEnum, NULL, CLSCTX_INPROC,
     IID_ICreateDevEnum, (void **) &pDevEnum);
     if (FAILED(hr))
      return hr;

     // Create an enumerator for the video capture devices
     CComPtr <IEnumMoniker> pClassEnum = NULL;

     hr = pDevEnum->CreateClassEnumerator (deviceGUID, &pClassEnum, 0);
     if (FAILED(hr))
      return hr;

     if (pClassEnum == NULL)
      return E_FAIL;

     if (S_OK == (pClassEnum->Next (1, &pMoniker, &cFetched)))
     {
      hr = pMoniker->BindToObject(0,0,IID_IBaseFilter, (void**)&pSrc);
      if (FAILED(hr))
       return hr;
     }
     else
      return E_FAIL;

     *ppSrcFilter = pSrc;

     return S_OK;
    }

    //构建音频Graph图,并发送
    CComPtr< IGraphBuilder > m_pAudioGraphBuilder; //音频图形管理器
    CComPtr< ICaptureGraphBuilder2 > m_pCapAudioGraphBuilder;
    CComPtr< IBaseFilter > m_pFilterAudioCap;
    CComPtr< IMediaControl > m_pAudioMediaCtrl ;

    HRESULT AudioGraphInit()
    {
     HRESULT hr;
     hr =m_pAudioGraphBuilder.CoCreateInstance( CLSID_FilterGraph );
     if(FAILED(hr))
      return hr;
     hr =m_pCapAudioGraphBuilder.CoCreateInstance( CLSID_CaptureGraphBuilder2);
     if(FAILED (hr))
      return hr;
     m_pAudioGraphBuilder->SetFiltergraph(m_pCapAudioGraphBuilder);
     m_pAudioGraphBuilder->QueryInterface(IID_IMediaControl, (void **)&m_pAudioMediaCtrl);

     FindDeviceFilter(&m_pFilterVideoCap,CLSID_AudioInputDeviceCategory);
     if(m_pFilterAudioCap)
      m_pAudioGraphBuilder->AddFilter( m_pFilterAudioCap,T2W("AudioCap") ) ;

     //发送到网络
     hr =::CoCreateInstance(CLSID_FG729Render,NULL,CLSCTX_INPROC,
     IID_IBaseFilter,(void**)&m_pFilterRtpSendAudio)
     if(FAILED(hr))
      return hr;
     m_pAudioGraphBuilder->AddFilter(m_pAudioRtpRender, L"FilterRtpSendAudio");
     Connect(m_pFilterAudioCap,m_pAudioRtpRender);

     CComPtr< IRtpOption > pOption ;
     m_pAudioRtpRender->QueryInterface(IID_IJRTPOption,(void**)&pOption)
     hr =pOption->Connect(szClientA,iAudioPort,1024);
     if(FAILED(hr))
      return hr;

     m_pAudioMediaCtrl->Run();
     return S_OK;
    }
    //音频的接收
    CComPtr< IGraphBuilder > m_pAudioGraphBuilder; //音频图形管理器
    CComPtr< ICaptureGraphBuilder2 > m_pCapAudioGraphBuilder;
    CComPtr< IBaseFilter > m_pFilterAudioCap;
    CComPtr< IMediaControl > m_pAudioMediaCtrl ;
    CComPtr<IBaseFilter> m_pAudioRender;
    HRESULT AudioRecive()
    {
     HRESULT hr;
     hr =m_pAudioGraphBuilder.CoCreateInstance( CLSID_FilterGraph );
     if(FAILED(hr))
      return hr;
     m_pAudioGraphBuilder->QueryInterface(IID_IMediaControl, (void **)&m_pAudioMediaCtrl);

     hr = m_pAudioRtpSource->CoCreateInstance(CLSID_FG729Source) ;
     if(FAILED(hr))
      return hr;
     m_pAudioGraphBuilder->AddFilter(m_pAudioRtpSource,L"AudioRtp");
     //创建声卡Renderfilter
     FindDeviceFilter(&m_pAudioRender,CLSID_AudioRendererCategory);
     m_pAudioGraphBuilder->AddFilter(m_pAudioRender,L"AudioRender");
     CComPtr< IRtpOption > pRtpOption ;
     m_pAudioRtpSource->QueryInterface(IID_IJRTPOption,(void**)&pRtpOption)
     hr= pRtpOption->Connect(szClientA,iAudioPort+2,1024);
     if(FAILED (hr))
      return hr;

     Connect(m_pAudioRtpSource,m_pAudioRender);
     
     m_pAudioMediaCtrl->Run();
     return S_OK;
    }

    发表于 @ 2005年11月16日 22:13:00|评论(loading...)|编辑

    新一篇: AVI族函数的说明 | 旧一篇: Directsound开发指南(4)

    评论

    #DataSpatial 发表于2006-02-18 17:17:00  IP: 211.100.21.*
    TrackBack来自《關於視頻開發的一些總結!》

    tcp/ip
    #lemon_wei 发表于2006-03-20 16:29:00  IP: 211.100.21.*
    TrackBack来自《用DirectShow实现QQ的音视频聊天功能》

    转贴:用DirectShow开发音视频
    #qq 发表于2005-12-14 19:49:00  IP: 210.42.151.*
    我想请问下,新定义的这一组Filter,我在注册表direct show filter目录中怎么找也找不到,我其他的注册表也找过了,没有,我甚至还把包含这新定义flter的dll也注册了一遍,还是找不到,难道我下的direckshow 版本不对,注,我下的是最新的DirectX 9.0 Software Development Kit (SDK)(2005).
    #qq 发表于2005-12-14 19:51:00  IP: 210.42.151.*
    我很关注您的blog,写的非常好,对我帮助很大.希望您能帮我解答这个难题.
    #aldy7913 发表于2006-01-03 11:31:00  IP: 203.193.44.*
    很深奥哦.
    有没有简单点的.
    #yespie 发表于2006-01-18 09:15:00  IP: 218.18.65.*
    如果用C#的代码实现,哪就更爽了。
    #小银子 发表于2006-01-22 09:58:00  IP: 211.162.16.*
    8错 学习学习~
    #kiskry 发表于2006-04-05 13:55:00  IP: 222.210.46.*
    请问程序中的
    CComPtr< IRtpOption > m_pRtpOption;
    CComPtr< IVideoOption > m_pVideoOption;
    是什么意思??为什么我用的时候就出错呢??
    Connect( , );是不是自己定义的一个连接函数呢??



    #aoosang 发表于2006-04-05 23:25:00  IP: 221.218.153.*
    connect()上自己写的一个函数,用于连接两个fileter,关于CComPtr< IRtpOption > m_pRtpOption的用法,你可以参见一些书上介绍, 如果你对网络音频视频传输感兴趣,你可以参见我转载的一篇文章, http://blog.csdn.net/aoosang/archive/2006/03/27/640640.aspx,
    #jrc96 发表于2006-06-12 21:03:00  IP: 222.84.107.*
    那四个RTP filter的CLSID
    GUID CLSID_FG729Render
    是你写的吧,能不能提供源码.我是初学者.
    我的邮箱 jrc96@163.com
    谢谢
    #米粒 发表于2006-08-14 13:16:00  IP: 221.221.149.*
    你好,我是初学者,很多东西无从下手,请问能麻烦你发源代码于我吗?我的邮箱是miaoming0429@163.com.谢谢你:)
    #kindy 发表于2006-08-25 11:17:00  IP: 61.144.195.*
    你好,我看你写得文章,写得非常好,能不能把源代码也公开一下给我,谢谢。kindy_wu@yahoo.com.cn
    #billwillman 发表于2006-11-13 20:04:00  IP: 222.40.168.*
    能不能提供RTP Filter的下载地址??
    呵呵,上面的代码我都能看懂。
    #gaohuinew 发表于2007-05-29 16:54:38  IP: 219.156.38.*
    你好,我是初学者,请问能麻烦你发源代码于我吗?我的邮箱是gaohuinew@163.com
    非常感谢!
    发表评论  


    登录
    Csdn Blog version 3.1a
    Copyright © aoosang