基于DirectShow框架的虚拟摄像头开发实现

基于DirectShow框架的虚拟摄像头开发实现

近期在做相关网络虚拟摄像头的项目，所谓虚拟摄像头是一种虚拟化的软件，可以在电脑上模拟一个网络摄像头给其它应用程序使用。这个模拟出来的摄像头可以使用多种视频来源作为它的视频内容，比如录制好的视频、图片等。该摄像头不受硬件场景的限制，无需任何硬件支持，通过软件模拟来实现。

通常虚拟摄像头有两种实现方案：

1. 基于DirectShow框架的虚拟摄像头实现方式。该方式的优点是实现比较简单，直接在用户层就可以实现；但是缺点也很明显，只能支持使用DirectShow框架的应用程序有效。
2. 基于驱动的虚拟摄像头实现方式，该方案有两个实现技术，第一种是基于AVStream，第二种是UVC实现。该方案的优点是稳定可靠，兼容性强，可以兼容各种应用程序；缺点就是技术难度复杂。

这里我们分析一下DirectShow框架下的虚拟摄像头的开发。在Windows下面许多应用程序采集摄像头图像依旧使用的是DirectShow技术，因此该技术仍然可以支持大部分的应用程序。

1. 技术分析

DirectShow是微软引入为了解决多媒体的一种方案，举一个例子，如果我们需要对一个视频文件进行播放（包括音频和视频），基本的流程是：

1. 读取文件，解析文件格式。
2. 对文件中的音频和视频帧进行分离。
3. 对视频进行解码解压缩。
4. 对视频进行播放（使用各种图形API接口）。
5. 对音频内容进行播放。
6. 而且需要对音频和视频内容进行同步处理（否则会导致音频和视频不同步）。

这个过程是非常复杂的，给我们的开发带来了很大的难度；为了简化整个过程，微软引入了DirectShow技术，该技术通过对不同步骤引入Filter的概念，由系统提供不同的Filter，开发者只需要通过Filter Graph Mangager将各个Filter组织成Filter Graph来进行多媒体播放。

例如上面的视频的播放我们可以总结为如下几个Filter来实现：

1. Source Filter负责文件的读取。
2. Splitter Filter负责分离音视频帧。
3. DirectSound Filter负责播放音频。
4. Decompressor Filter负责解码视频帧。
5. Video Render Filter负责渲染视频图像。

这样的化，我们的应用程序只需要将这几个Filter组织连接在一起就可以正常工作了，示意图如下：

当然更加简单的是，DirectShow提供了智能连接Filter的能力，我们甚至不需要知道依赖哪些Filter，框架自动可以给我们连接各个过滤器。例如我们只要如下一句话就可以实现上述整个过程：

pGraph->RenderFile(L"C:\\Example.avi", NULL);

针对上述多媒体例子，DirectShow有更加通用的框架，所有的DirectShow框架都是在此框架展开，该框架主要三个Filter来实现：

1. Source Filters实现原始数据流的输入。
2. Transform Filters实现数据流的转换处理（可以有音视频分离，解压缩，解码）。
3. Rendering Filter负责最终数据的渲染（包括音频播放，视频图像显示）。

整体框架结构大致如下：

2. 摄像头数据的采集

要想虚拟化摄像头，那么就应该了解应用程序是怎么样来采集摄像头数据的，该过程可以分为两个步骤：

1. 枚举所有系统的摄像头，并获取采集的Filter。
2. 针对该Filter，进行渲染或者文件保存等处理。

我们先来看一下系统设备的枚举过程，示意图如下：

实现方式如下：

HRESULT EnumOnDevice()
{
	HRESULT hr = E_FAIL;
	ICreateDevEnum* pDevEnum = NULL;
	IEnumMoniker* pEnumMoniker = NULL;
	IMoniker* pMoniker = NULL;
	IBaseFilter* pFilter = NULL;

	hr = CoCreateInstance(CLSID_SystemDeviceEnum, NULL, CLSCTX_INPROC, IID_ICreateDevEnum, (void **)&pDevEnum);
	if (!SUCCEEDED(hr) || pDevEnum == NULL)
	{
		return hr;
	}

	hr = pDevEnum->CreateClassEnumerator(CLSID_VideoInputDeviceCategory, &pEnumMoniker, 0);
	if (pEnumMoniker == NULL)
	{
		SAFE_RELEASE(pDevEnum);
		return hr;
	}

	hr = pEnumMoniker->Next(1, &pMoniker, NULL);
	if (pMoniker == NULL)
	{
		SAFE_RELEASE(pDevEnum);
		SAFE_RELEASE(pEnumMoniker);
		return hr;
	}

	hr = pMoniker->BindToObject(0, 0, IID_IBaseFilter, (LPVOID*)&pFilter);
	if (!SUCCEEDED(hr))
	{
		SAFE_RELEASE(pDevEnum);
		SAFE_RELEASE(pEnumMoniker);
		SAFE_RELEASE(pMoniker);
		return hr;
	}

	pFilter->AddRef();

	SAFE_RELEASE(pDevEnum);
	SAFE_RELEASE(pEnumMoniker);
	SAFE_RELEASE(pMoniker);

	return S_OK;
}

当我们调用pMoniker->BindToObject(0, 0, IID_IBaseFilter, (LPVOID*)&pFilter);的时候，就会加载视频采集的过滤器。

枚举到设备和加载了过滤器之后就是进行整个Filter Graph的工作了，这个过程非常简单，使用如下代码即可完成工作：

pMediaControl->Run()

3. 虚拟摄像头的实现

通过上面我们对DirectShow采集摄像头的分析和DirectShow的技术架构的分析，我们可以知道如果基于DirectShow框架实现虚拟摄像头的化，需要做到如下需求：

1. 可以让DirectShow框架的应用程序可以查找到指定的虚拟摄像头设备。
2. 提供虚拟摄像头的Filter。
3. 该Filter可以提供摄像头相关的图像数据。

下面我们分别来看一下这三个步骤的实现原理。

3.1 虚拟摄像头组件的注册

虚拟摄像头组件的注册是一个典型的COM控件，对于一个符合规范的 COM 组件动态库来说, 其必须实现以下几个导出函数:

• HRESULT DllRegisterServer() : 用于外部注册组件。
• HRESULT DllUnregisterServer() : 用于外部注销组件。
• HRESULT DllCanUnloadNow(void) : 用于外部检查当前是否允许注销组件。
• HRESULT DllGetClassObject(_In_ REFCLSID rclsid, _In_ REFIID riid, _Outptr_ LPVOID *ppv) : 用于外部获取组件对象。

在DllRegisterServer需要实现的功能有两个：

1. 注册一个InprocServer32的COM组件。
2. 注册DirectShow组件。

注册COM组件的过程很简单，就是对于HKEY_CLASSES_ROOT\CLSID\{clsid}注册表的实现，对于这一部分不熟悉的可以参考COM的相关资料。

注册表DirectShow 组件必需依赖IFilterMapper2接口，具体过程如下：

static
HRESULT
RegisterVCamDShow(
	CONST WCHAR* wszDllPath,
	BOOL bInProcServer
)
{
	IFilterMapper2* pFilterMapper = NULL;
	HRESULT hr = E_FAIL;

	hr = CoCreateInstance(CLSID_FilterMapper2, 
		NULL, 
		CLSCTX_INPROC_SERVER, 
		IID_IFilterMapper2, 
		(void**)&pFilterMapper);
	if (!SUCCEEDED(hr))
	{
		return hr;
	}

	IMoniker *pMoniker = NULL;
	REGFILTER2 RegFilter = { 0 };
	RegFilter.dwVersion = 1;
	RegFilter.dwMerit = MERIT_DO_NOT_USE;
	RegFilter.cPins = 1;
	RegFilter.rgPins = &VCamPins;

	hr = pFilterMapper->RegisterFilter(CLSID_VCamDShow, 
		L"SinLink DShow VCamera", 
		&pMoniker,
		&CLSID_VideoInputDeviceCategory,
		NULL,
		&RegFilter);
	if (!SUCCEEDED(hr))
	{
		pFilterMapper->Release();
		return hr;
	}

	pFilterMapper->Release();
	pMoniker->Release();

	return S_OK;
}

上述基本步骤总结如下:

1. 使用 CoCreateInstance 构造一个 FilterMapper 对象。

2. 通过 IFilterMapper2::RegisterFilter 注册我们的 Filter, 这里需要指定我们的 Filter 类型为 CLSID_VideoInputDeviceCategory。

3.2 过滤器的实现

过滤器需要实现两个接口：

1. 实现基于IBaseFilter接口的类，实现整个过滤器的框架。
2. 实现基于IPin接口的类，实现过滤器的Pin引脚。

所有的Filter类都需要继承自IBaseFilter接口, 需要实现如下函数:

• 用于查询 Filter 信息的IBaseFilter::QueryFilterInfo 与 IBaseFilter::QueryVendorInfo。

• 用于查询 Pin 信息的IBaseFilter::EnumPins与IBaseFilter::FindPin。

• 用于与FilterGraph连接的IBaseFilter::JoinFilterGraph。

• 用于控制Filter状态的IMediaFilter::Stop , IMediaFilter::Pause , IMediaFilter::Run 与 IMediaFilter::GetState。

• 用于同步的IMediaFilter::SetSyncSource 与 IMediaFilter::GetSyncSource。

• 用于查询 CLSID 的IPersist::GetClassID。

自己全部实现IBaseFilter接口要相对困难，可以可以推荐使用DirectShow SDK，继承自CBaseFilter来实现相关业务。

所有的Pin类都需要继承自IPin接口, 需要实现的相关函数如下:

• 用于Pin之间连接的IPin::Connect , IPin::ReceiveConnection , IPin::Disconnect , IPin::ConnectedTo。

• 用于查询 Pin 状态的IPin::QueryPinInfo , IPin::QueryDirection , IPin::QueryId , IPin::QueryAccept , IPin::EnumMediaTypes , IPin::QueryInternalConnections。

• 用于控制数据流传输状态的IPin::EndOfStream , IPin::BeginFlush , IPin::EndFlush , IPin::NewSegment。

同样，我们可以基于DirectShow SDK，继承自CBaseOutputPin来实现相关业务。

实现了上面两个类之后，我们就大致实现了过滤器的功能，并且提供了对外连接的输出引脚；还有一个我们需要创建类工厂，让使用者可以获取过滤器的接口，类工厂如下：

class CVCameraFactory : public IClassFactory {
public:
  VirtualCameraFactory(const GUID& class_id);

public:  // IUnknown
  virtual HRESULT __stdcall QueryInterface(_In_  const GUID& interface_id,
                                           _Out_ void**      object      ) override;
  virtual ULONG __stdcall AddRef(void) override;
  virtual ULONG __stdcall Release(void) override;

public:  // IClassFactory
  virtual HRESULT __stdcall CreateInstance(_In_  IUnknown*   parent      ,
                                           _In_  const GUID& interface_id,
                                           _Out_ void**      object      ) override;
  virtual HRESULT __stdcall LockServer(BOOL lock) override;

private:
  std::atomic<ULONG> reference_count_;
  const GUID         CLASS_ID_;
};

3.3 视频数据的提供

在上述过滤器中，输出引脚需要输出相关的视频帧信息，这里需要我们外部提供；我们可以通过共享内存来提供。

共享内存使用如下方法来实现：

• CreateFileMapping创建一个共享内存.

• MapViewOfFile映射共享内存。

• UnmapViewOfFile用于关闭内存映射。

共享内存可以定义如下：

struct FrameMemory 
{
 uint32_t width                 = 0;
 uint32_t height                = 0;
 int32_t  pixel_format          = -1;  // AVPixelFormat
 uint8_t  data[BUFFER_SIZE]     = {0}; // frame data buffer
 int32_t  line_size[LINE_COUNT] = {0};
};

4. 实现效果预览

通过上面实现，我们完成了基于DirectShow框架的虚拟摄像头的开发，我们可以使用GraphEdit工具查看我们的虚拟摄像头的过滤器，并且我们可以对过滤器进行Filter Graph管理，如下图所示

我们可以对该过滤器进行渲染查看过虚拟摄像头的图像信息，如下：