流媒体之DirectShow——视频采集

最新推荐文章于 2024-06-24 17:24:39 发布
最新推荐文章于 2024-06-24 17:24:39 发布
阅读量2.6k 收藏 16
点赞数 4
分类专栏： Media Stream 文章标签： DirectShow DShow 视频采集 Direct Show
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yibu_refresh/article/details/94029181
版权

文章目录


 

一：介绍

进行音视频采集的Filter Graph叫做Capture Graph，通常Capture Graph比文件回放的Graph更加复杂，为了方便操作，封装了Capture Graph Builder用于辅助建立Graph。一般只需要使用ICaptureGraphBuilder2::SetFiltergraph 将Capture Graph Builder和Filter Graph Manager建立联系就可以了：
在这里插入图片描述
 
 

二：设备枚举

视频采集设备的枚举和音频采集设备的枚举类似，都是使用系统的枚举方法，可参照《Basic Tasks》#设备枚举。
 
 

三：Video Graph

3.1 视频预览

视频预览主要通过ICaptureGraphBuilder2::RenderStream 方法，如《Basic Tasks》介绍：

ICaptureGraphBuilder2 *pBuild; // Capture Graph Builder
// Initialize pBuild (not shown).

IBaseFilter *pCap; // Video capture filter.

/* Initialize pCap and add it to the filter graph (not shown). */

hr = pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video, 
    pCap, NULL, NULL);

RenderStream的第一个参数指明Video Capture Filter的Pin类型；第二个参数指明媒体类型；后边三个参数为要连接的Filters，最后一个参数为NULL则表示使用默认的Renderer。
当Video Capture Filter并没有预览Output Pin时候Capture Graph Builder则会自动加入Smart Tee Filter 来增加预览接口。
在这里插入图片描述

3.2 录制视频到AVI文件

在这里插入图片描述
可以参考Audio Capture相关部分。
AVI Mux和File Writer的建立可以通过：

IBaseFilter *pMux;
hr = pBuild->SetOutputFileName(
    &MEDIASUBTYPE_Avi,  // Specifies AVI for the target file.
    L"C:\\Example.avi", // File name.
    &pMux,              // Receives a pointer to the mux.
    NULL);              // (Optional) Receives a pointer to the file sink.

效果等同于Audio Capture章节的手动创建效果。
之后连接Filters(Video Capture Filter->AVI Mux，AVI Mux->File Writer在setname时候已经自动连接)：

hr = pBuild->RenderStream(
    &PIN_CATEGORY_CAPTURE, // Pin category.
    &MEDIATYPE_Video,      // Media type.
    pCap,                  // Capture filter.
    NULL,                  // Intermediate filter (optional).
    pMux);                 // Mux or file sink filter.

// Release the mux filter.
pMux->Release();

如果同时采集视频和音频，可以选择主参考流(一般选择音频为主参考流)，也可以设置交错类型：

IConfigInterleaving *pInterleave = NULL;
hr = pMux->QueryInterface(IID_IConfigInterleaving, (void**)&pInterleave);
if (SUCCEEDED(hr))
{
    pInterleave->put_Mode(INTERLEAVE_CAPTURE);
    pInterleave->Release();
}

//
IConfigInterleaving *pInterleave = NULL;
hr = pMux->QueryInterface(IID_IConfigInterleaving, (void**)&pInterleave);
if (SUCCEEDED(hr))
{
    pInterleave->put_Mode(INTERLEAVE_CAPTURE);
    pInterleave->Release();
}

也可以保存编码后的流到AVI：

IBaseFilter *pEncoder;
/* Create the encoder filter (not shown). */
// Add it to the filter graph.
pGraph->AddFilter(pEncoder, L"Encoder);

/* Call SetOutputFileName as shown previously. */

// Render the stream.
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video, 
    pCap, 
pEncoder, pMux);
pEncoder->Release();

3.3 录制视频到Windows Media File(ASF)

在这里插入图片描述
流程和录制到AVI文件类似：

// 创建ASF Filter
IBaseFilter* pASFWriter = 0;
hr = pBuild->SetOutputFileName(
    &MEDIASUBTYPE_Asf,   // Create a Windows Media file.
    L"C:\\VidCap.wmv",   // File name.
    &pASFWriter,         // Receives a pointer to the filter.
    NULL);  // Receives an IFileSinkFilter interface pointer (optional).

// 配置ASF Filter的Profile
IConfigAsfWriter *pConfig = 0;
hr = pASFWriter->QueryInterface(IID_IConfigAsfWriter, (void**)&pConfig);
if (SUCCEEDED(hr))
{
     // Configure the ASF Writer filter.
    pConfig->Release();
}

// 连接Filters
hr = pBuild->RenderStream(
    &PIN_CATEGORY_CAPTURE,   // Capture pin.
    &MEDIATYPE_Video,        // Video. Use MEDIATYPE_Audio for audio.
    pCap,                    // Pointer to the capture filter. 
    0, 
    pASFWriter);             // Pointer to the sink filter (ASF Writer).

3.4 录制视频到其他文件格式

录制到其他格式类似，需要在创建的时候指明CLSID：

IBaseFilter *pMux = 0;
IFileSinkFilter *pSink = 0;
hr = pBuild->SetOutputFileName(&CLSID_MyCustomMuxFilter, 
    L"C:\\VidCap.avi", &pMux, &pSink);

3.5 录制切换

当需要切换录制文件时操作为：

// Run -> Stop -> Changing file -> Run
IBaseFilter *pMux;
IFileSinkFilter *pSink
hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi, L"C:\\YourFileName.avi", 
    &pMux, &pSink);
if (SUCCEEDED(hr))
{
    hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video, 
        pCap, NULL, pMux);

    if (SUCCEEDED(hr))
    {
        pControl->Run();
        /* Wait awhile, then stop the graph. */
        pControl->Stop();
        // Change the file name and run the graph again.
        pSink->SetFileName(L"YourFileName02.avi", 0);
        pControl->Run();
    }
    pMux->Release();
    pSink->Release();
}

3.6 同时预览和录制

当同时需要预览和录制时只需要调用两次RenderStream:

// Render the preview stream to the video renderer.
hr = pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video, pCap, 
    NULL, NULL);

// Render the capture stream to the mux.
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video, pCap, 
    NULL, pMux);

如前面所述，Capture Graph Builder会根据需要加入Smart Tee Filter，可能的两种情况为：
在这里插入图片描述
在这里插入图片描述
 
 

四：Capture Graph控制

  • Filter Graph Manager： IMediaControl 提供开始、暂停和结束控制；
  • Capture Graph Builder: ICaptureGraphBuilder2::ControlStream 提供对采集和预览流的单独控制。
// Control the video capture stream. 
REFERENCE_TIME rtStart = 10000000, rtStop = 50000000;
const WORD wStartCookie = 1, wStopCookie = 2;  // Arbitrary values.
hr = pBuild->ControlStream(
    &PIN_CATEGORY_CAPTURE, // Pin category.
    &MEDIATYPE_Video,      // Media type.
    pCap,                 // Capture filter.
    &rtStart, &rtStop,     // Start and stop times.
    wStartCookie, wStopCookie  // Values for the start and stop events.
);
pControl->Run();

//
while (hr = pEvent->GetEvent(&evCode, &param1, &param2, 0), SUCCEEDED(hr))
{
    switch (evCode)
    {
    case EC_STREAM_CONTROL_STARTED: 
    // param2 == wStartCookie
    break;

    case EC_STREAM_CONTROL_STOPPED: 
    // param2 == wStopCookie
    break;
    
    } 
    pEvent->FreeEventParams(evCode, param1, param2);
}

ControlStream的第四和第五个参数为流开始和结束的相对时间；第六和第七个参数为开始和结束事件触发时传递的参数。调整ControlStream的参数可以控制相应的流以及流时间。

ControlStream使用Output Pin的IAMStreamControl接口，所以也可以直接使用IAMStreamControl接口来控制。

 
 

五：Video Capture Tasks

本节主要讲述Video Capture的其他任务。

5.1 配置采集设备

5.1.1 显示VFW属性对话框

VFW属性对话框只支持使用Video for Windows(VFW)驱动的设备。步骤为：

  1. 停止Filter Graph；
  2. 查询IAMVfwCaptureDialogs 接口，查询成功则表示此设备是VFW设备；
  3. 调用IAMVfwCaptureDialogs::HasDialog 查询是否支持属性对话框；
  4. 如果支持则调用IAMVfwCaptureDialogs::ShowDialog 显示属性对话框；
  5. 重新启动Filter Graph。
pControl->Stop(); // Stop the graph.

// Query the capture filter for the IAMVfwCaptureDialogs interface.
IAMVfwCaptureDialogs *pVfw = 0;
hr = pCap->QueryInterface(IID_IAMVfwCaptureDialogs, (void**)&pVfw);
if (SUCCEEDED(hr))
{
    // Check if the device supports this dialog box.
    if (S_OK == pVfw->HasDialog(VfwCaptureDialog_Source))
    {
        // Show the dialog box.
        hr = pVfw->ShowDialog(VfwCaptureDialog_Source, hwndParent);
    }
}
pControl->Run();
5.1.2 配置视频属性
ProcAmp Settings

Windows Driver Model(WDM)类型的设备支持IAMVideoProcAmp相关控制：

  • Backlight compensation
  • Brightness
  • Contrast
  • Gain
  • Gamma
  • Hue
  • Saturation
  • Sharpness
  • White balance

操作步骤如下：

  1. 查询IAMVideoProcAmp接口；
  2. 对于每个属性，调用 IAMVideoProcAmp::GetRange 方法，如果失败则表示不支持这个属性；如果成功则会返回相应范围，默认值，增长步长等；
  3. 调用IAMVideoProcAmp::Get 获得属性当前值；
  4. 调用IAMVideoProcAmp::Set 设置属性新的值。

配置时候无需先停止Graph。

HWND hTrackbar; // Handle to the trackbar control. 
// Initialize hTrackbar (not shown).

// Query the capture filter for the IAMVideoProcAmp interface.
IAMVideoProcAmp *pProcAmp = 0;
hr = pCap->QueryInterface(IID_IAMVideoProcAmp, (void**)&pProcAmp);
if (FAILED(hr))
{
    // The device does not support IAMVideoProcAmp, so disable the control.
    EnableWindow(hTrackbar, FALSE);
}
else
{
    long Min, Max, Step, Default, Flags, Val;

    // Get the range and default value. 
    hr = m_pProcAmp->GetRange(VideoProcAmp_Brightness, &Min, &Max, &Step,
        &Default, &Flags);
    if (SUCCEEDED(hr))
    {
        // Get the current value.
        hr = m_pProcAmp->Get(VideoProcAmp_Brightness, &Val, &Flags);
    }
    if (SUCCEEDED(hr))
    {
        // Set the trackbar range and position.
        SendMessage(hTrackbar, TBM_SETRANGE, TRUE, MAKELONG(Min, Max));
        SendMessage(hTrackbar, TBM_SETPOS, TRUE, Val);
        EnableWindow(hTrackbar, TRUE);
    }
    else
    {
        // This property is not supported, so disable the control.
        EnableWindow(hTrackbar, FALSE);
    }
}
Camera Settings

由IAMCameraControl 控制，类似IAMVideoProcAmp 接口，但是是控制相机本身属性：

  • Exposure
  • Focus
  • Iris
  • Pan
  • Roll
  • Tilt
  • Zoom

操作步骤：

  1. 查询IAMCameraControl 接口；
  2. 调用 IAMCameraControl::GetRange 查询属性支持和默认范围、值等；
  3. 调用IAMCameraControl::Get 获得属性当前值；
  4. 调用 IAMCameraControl::Set 设置属性值。
5.1.3 配置输出格式

由IAMStreamConfig::GetFormat 返回的pmt包含的AM_MEDIA_TYPE结构体记录了视频支持格式。
以下为旧的方法：
IAMStreamConfig接口记录了视频的格式信息，位于Video Capture Filter 的Output Pin上，可以通过以下方式查询：

IAMStreamConfig *pConfig = NULL;
hr = pBuild->FindInterface(
    &PIN_CATEGORY_PREVIEW, // Preview pin.
    0,    // Any media type.
    pCap, // Pointer to the capture filter.
    IID_IAMStreamConfig, (void**)&pConfig);

查询支持的格式数目：

int iCount = 0, iSize = 0;
hr = pConfig->GetNumberOfCapabilities(&iCount, &iSize);

// Check the size to make sure we pass in the correct structure.
if (iSize == sizeof(VIDEO_STREAM_CONFIG_CAPS))
{
    // Use the video capabilities structure.

    for (int iFormat = 0; iFormat < iCount; iFormat++)
    {
        VIDEO_STREAM_CONFIG_CAPS scc;
        AM_MEDIA_TYPE *pmtConfig;
        hr = pConfig->GetStreamCaps(iFormat, &pmtConfig, (BYTE*)&scc);
        if (SUCCEEDED(hr))
        {
            /* Examine the format, and possibly use it. */

            // Delete the media type when you are done.
            DeleteMediaType(pmtConfig);
        }
}

设置格式：

hr = pConfig->SetFormat(pmtConfig);

pmtConfig包括了允许的最大最小分辨率和步长，所以可以根据需要重新设定范围内的分辨率：
在这里插入图片描述

5.2 CrossBars

略

5.3 插拔消息

设备丢失时，Filter Graph Manager会发送EC_DEVICE_LOST 消息，设备再次可用时会再次发送此消息。当新设备加入时，Filter Graph Manager不会产生任何通知，可以通过Windows SDK监听WM_DEVICECHANGE 消息来确定是否有新设备加入。

5.4 静态图片捕捉

如何捕获高质量的静态图片，使用 Sample Grabber Filter 获得回调的视频数据。
略。

一步-refresh
关注
专栏目录
用DirectShow实现视频采集
03-27 1万+
DirectShow作为DirectX的一个子集，它为用户提供了强大、方便的多媒体开接口，并且它拥有直接操作硬件的能力，这使得它的效率远胜于用GDI等图形方式编写的多媒体程序。前面一篇文章已经对DirectShow作了粗略的介绍，阐述了它的原理及一些编程方法。这里结合实践中运用DirectShow实现视频采集（WIN32）来加深对DirectShow的理解和操作能力。1．系统环境及开发环境   l
WebRTC源码分析——视频流水线建立（上）
yinshipin007的博客
03-08 655
视频源可以是摄像头，也可以是桌面、窗口抓屏(远程桌面，基于视频流的电子白板等应用)，甚至可以是磁盘上的视频文件，图片文件。VideoTrackSource没有实现VideoSinkInterface接口，因此，实质上视频数据是不会流入到VideoTrackSource中的，但其组合了VideoSource对象，并且实现了VideoSourceInterface接口，添加到VideoTrackSource中的VideoSink会被添加到VideoSource，然后进一步添加到VideoBroadcast中。
directshow视频采集
05-11
directshow视频采集，采用VMR渲染技术
DirectShow过滤器开发-NV12压缩过滤器
最新发布
h3974的博客
06-24 239
介绍NV12压缩过滤器的开发。
视频采集 via DirectShow
Blueware多媒体之窗
02-13 565
视频采集 via DirectShowDirectShow 简介DirectShow 采集视频采集流程图采集代码CVideoCap 类CVideoCap::_initCapDevice 函数CVideoCap::_buildCaptureGraph 函数CVideoCap::startPreview 函数CVideoCap::startRecord 函数CRecordSwitch 类CTransI...
C# WinForm DirectShow视频采集及图片抓取实例DxSnap(绝对源码)
04-30
C# WinForm DirectShow视频采集及图片抓取实例DxSnap 抓拍 视频
DirectShow实现视频采集与视频数据的抓取
02-14
用DirectShow实现视频数据的采集，显示，回调抓取数据与保存，代码比较简单，适合刚入门的初学者
音频采集 via DirectShow
Blueware多媒体之窗
01-29 436
音频采集 via DirectShowDirectShow 简介DirectShow 采集音频采集流程图采集代码概览enumAudioInputFilters 函数addFilterByCLSID 函数connectFilters 函数getUnconnectedPin 函数GraphEdit 这里所说的音频采集是指通过麦克风采集声音数据然后经过编码保存为磁盘上的一个文件。 Windows 上有如...
Directshow视频图像采集
07-30
"DirectShow流媒体信息获取及图象转换 正文"这一文档可能会讨论如何从流媒体中提取信息，以及如何进行图像转换。在图像采集过程中，可能需要对原始视频流进行实时处理，例如调整分辨率、格式转换等。 "使用...
基于windows的几种视频采集方法的设计与实现
04-10
本文旨在深入探讨在Windows操作系统环境下，三种主流的实时视频数据采集方法——基于VFW（Video For Windows）、基于DirectShow以及基于视频卡附带的SDK（Software Development Kit），并提供实现这些方法的核心代码...
跨平台视频采集avcap源码
07-27
《跨平台视频采集技术——基于avcap源码的解析与应用》 在现代信息技术中，视频采集是一项核心功能，尤其在多媒体应用、远程监控、在线教育等领域，它的重要性不言而喻。本篇将深入探讨一种名为“avcap”的开源项目...
c++ directshow 采集摄像头
04-17
VC++ 采集摄像头程序，对于显示摄像头的有一定的借鉴意义
摄像头采集Directshow c++完整源码
05-06
摄像头采集Directshow c++完整源码，带编译完成的RELEASE程序
qt+directshow usb摄像头及音频设备录制视频的例子
03-12
qt+directshow usb摄像头及音频设备录制视频的例子，希望大家少走弯路。
win10下在VS2015采用Qt+DirectShow打开多个USB摄像头并录制视频
05-10
在Windows10的系统中，采用VS2015的开发环境，用Qt+DirectShow库实现了打开多个USB摄像头，把采集到的视频用Qt显示出来，并用DirectShow库实现了视频录制并保存； 并实现了每隔30s保存一个视频；方便视频的存储；不会因为突然的中断，导致整个录制过程视频保存失败； 代码适合在Windows10系统中想实现视频监控的开发人员学习；
QT+vs+directshow获取摄像头名称及其支持的分辨率
06-20
QT5.7.0 + visual studio 2013 + directshow9 获取摄像头名称及其支持的分辨率
ffmpeg 推流同时录像命令_FFmpeg —— 屏幕录像和录音并推流（命令行的方式）
weixin_39822423的博客
12-30 1227
WindowsWindows采集设备的主要方式是dshow、vfwcap、gdigrab.其中dshow可以用来抓取摄像头、采集卡、麦克风等，vfwcap主要用来采集摄像头类设备，gdigrab则是抓取Windows窗口程序。ffmpeg -hide_banner -devices 方法一：dshow首先需要安装一个软件,screen capture recorder编译好的下载地址是:http:...
directshow 采集摄像头数据并录制视频（含压缩）
08-21 1442
最近使用directshow 做了一个摄像头视频的采集模块，录制视频后同步进行压缩，主要有两种压缩方法，一种是调用x264进行每一帧数据的压缩，一种是创建一个Filter进行压缩。记录下主要的实现过程。 首先，枚举当前支持的摄像头详细信息，主要是通过枚举设备信息，然后返回每个设备的描述信息给用户界面： static TCHAR ** EnumAllDevices(int *num) { CoInitialize(NULL); int nCaptureDeviceNumber = 0; //
SkeyeLive中DirectShow采集音视频流程及几种采集方式介绍
OpenSkeye的博客
05-18 5780
前段时间SkeyeLive开放了DirectShow采集库，这个库底层采用DirectShow SDK的接口实现音视频的预览(播放)和采集；很多人可能还不太了解这个封装库的回调方式和之前的DShow线程采集方式有什么不同，或者说对DirectShow的采集流程还不太熟悉，下面我将就Windows平台下用使用DirectShow的过滤器（滤波器）进行流媒体开发的前端采集部分进行简要介绍，如果大家想深入的学习和探索，推荐大家去看看《Visual C++音频/视频处理技术及工程实践》这本书，第9章有详细的流程讲解
DirectShow应用实践：从音视频采集到媒体播放
"DirectShow实务精选是一本由陆其明编著的专业书籍，专注于DirectShow技术在音视频处理领域的应用，如视频采集、视频聊天、视频点播、视频叠加和媒体播放。书中提供了大量实例源代码，帮助读者理解和实践DirectShow...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值