WebRTC源码之摄像头视频数据采集源码分析

已于 2022-09-27 22:49:27 修改
阅读量1.5k 收藏
点赞数
分类专栏： WebRTC源码探秘 文章标签： webrtc 音视频 java
于 2022-09-03 15:45:04 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Poisx/article/details/126678267
版权

WebRTC源码之摄像头视频数据采集源码分析

WebRTC源码之摄像头视频数据采集源码分析

WebRTC专题开嗨鸭 ！！！

一、 WebRTC 线程模型

1、WebRTC中线程模型和常见线程模型介绍

2、WebRTC网络PhysicalSocketServer之WSAEventselect模型使用

二、 WebRTC媒体协商

1、WebRTC媒体协商之SDP中JsepSessionDescription类结构分析

三、 WebRTC 音频数据采集

1、WebRTC源码之音频设备播放流程源码分析

2、WebRTC源码之音频设备的录制流程源码分析

四、 WebRTC 音频引擎(编解码和3A算法)

五、 WebRTC 视频数据采集

1、WebRTC源码之摄像头视频数据采集源码分析

六、 WebRTC 视频引擎( 编解码)

七、 WebRTC 网络传输

1、WebRTC的ICE之STUN协议

2、WebRTC的ICE之Dtls/SSL/TLSv1.x协议详解

八、 WebRTC服务质量(Qos)

1、WebRTC中RTCP协议详解

2、WebRTC中RTP协议详解

3、WebRTC之NACK、RTX 在什么时机判断丢包发送NACK请求和RTX丢包重传

4、WebRTC源码之视频质量统计数据的数据结构分析

九、 NetEQ

十、 Simulcast与SVC

前言

WebRTC视频采集流程图

在这里插入图片描述

一、 VideoCapture

在这里插入图片描述

IPin::QueryDirection方法

HRESULT QueryDirection([out] PIN_DIRECTION* pPinDir);

参数1： 获取Pin的方向   PINDIR_INPUT/PINDIR_OUT

1、 IKsPropertypSet

  1. 提供了访问驱动程序底层扩展属性的能力
  2. 它提供了Get/Set方法获取或设置扩展属性
  3. 通过Pin的QueryInterface可以获得该接口

WebRTC中使用 IKsPropertySet::Get方法

HRESULT Get([in] REFGUID rguidPropSet/*要访问的属性集*/,
        [in] ULONG ulId /*要访问的属性集中的某一项*/, 
        [out] LPVOID pInstanceData/*实例数据*/,
        [out] ULONG ulInstanceLength/*实例数据长度*/,
        [out] LPVOID pPropertyData/*读到的属性数据*/,
        [out] ULONG ulDataLength/*存放属性数据的长度*/,
        [out] PULONG pulBytesReturened/*真正读到的属性数据长度*/)

1、 ComRefCount

①、模板
// Provides a reference count implementation for COM (IUnknown derived) classes.
// The implementation uses atomics for managing the ref count.
template <class T>
class ComRefCount : public T {
 public:
  ComRefCount() {}

  template <class P0>
  explicit ComRefCount(P0&& p0) : T(std::forward<P0>(p0)) {}

  STDMETHOD_(ULONG, AddRef)() override {
    ref_count_.IncRef();
    return 1;
  }

  STDMETHOD_(ULONG, Release)() override {
    const auto status = ref_count_.DecRef();
    if (status == rtc::RefCountReleaseStatus::kDroppedLastRef) {
      delete this;
      return 0;
    }
    return 1;
  }

 protected:
  ~ComRefCount() {}

 private:
  webrtc::webrtc_impl::RefCounter ref_count_{0};
};
②、使用模板
// Create the sink filte used for receiving Captured frames.
  sink_filter_ = new ComRefCount<CaptureSinkFilter>(this);

input_pin_ = (new ComRefCount<CaptureInputPin>(this))
③、模板展开

// 1、是一个Filter
class ComRefCount : public CaptureSinkFilter {
 public:
  ComRefCount() {}
 
  explicit ComRefCount(VideoCaptureDS&& p0) : CaptureSinkFilter(std::forward<VideoCaptureDS>(p0)) {}

  STDMETHOD_(ULONG, AddRef)() override {
    ref_count_.IncRef();
    return 1;
  }

  STDMETHOD_(ULONG, Release)() override {
    const auto status = ref_count_.DecRef();
    if (status == rtc::RefCountReleaseStatus::kDroppedLastRef) {
      delete this;
      return 0;
    }
    return 1;
  }

 protected:
  ~ComRefCount() {}

 private:
  webrtc::webrtc_impl::RefCounter ref_count_{0};
};

/
// 2. 是一个Pin
class ComRefCount : public CaptureInputPin {
 public:
  ComRefCount() {}
 
  explicit ComRefCount(CaptureSinkFilter&& p0) : CaptureInputPin(std::forward<CaptureSinkFilter>(p0)) {}

  STDMETHOD_(ULONG, AddRef)() override {
    ref_count_.IncRef();
    return 1;
  }

  STDMETHOD_(ULONG, Release)() override {
    const auto status = ref_count_.DecRef();
    if (status == rtc::RefCountReleaseStatus::kDroppedLastRef) {
      delete this;
      return 0;
    }
    return 1;
  }

 protected:
  ~ComRefCount() {}

 private:
  webrtc::webrtc_impl::RefCounter ref_count_{0};
};

3、PIN_INFO


typedef struct _PinInfo
    {
    IBaseFilter *pFilter; // Filter指针
    PIN_DIRECTION dir; // Pin的方向
    WCHAR achName[ 128 ]; // Pin的名子
    } 	PIN_INFO;

4、Filter与FilterGraph 关系图

Filter与FilterGraph 关系图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4i0NW6DK-1662190677029)(./img/filter_and_filtergraph.jpg)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kJEEYCVw-1662190677030)(./img/filter_connect.jpg)]

WebRTC中底层CapturedFilter拿到数据， 然后应用层从SinkFilter获取数据

6、如何将两个Filter连接在一起的api

①、IFilterGraph::ConnectDirect方法介绍

 IFilterGraph : public IUnknown
    {
    public:
        virtual HRESULT STDMETHODCALLTYPE AddFilter( 
            /* [in] */ IBaseFilter *pFilter,
            /* [string][in] */ LPCWSTR pName) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE RemoveFilter( 
            /* [in] */ IBaseFilter *pFilter) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE EnumFilters( 
            /* [annotation][out] */ 
            _Out_  IEnumFilters **ppEnum) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE FindFilterByName( 
            /* [string][in] */ LPCWSTR pName,
            /* [annotation][out] */ 
            _Out_  IBaseFilter **ppFilter) = 0;
        // 两个Filter连接在一起的api
         // TODO@chensong 20220828  将CapturePin和 sinkPin连接起来的api
	  // param1 : 前一个Filter的输出Pin
	  // param2 : 后一个Filter的输入Pin
	  // param3 : AM_MEDIA_TYPE等于DMO_MEDIA_TYPE
        virtual HRESULT STDMETHODCALLTYPE ConnectDirect( 
            /* [in] */ IPin *ppinOut,
            /* [in] */ IPin *ppinIn,
            /* [annotation][unique][in] */ 
            _In_opt_  const AM_MEDIA_TYPE *pmt) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE Reconnect( 
            /* [in] */ IPin *ppin) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE Disconnect( 
            /* [in] */ IPin *ppin) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE SetDefaultSyncSource( void) = 0;
        
    };
②、AM_MEDIA_TYPE类型解读
typedef struct _AMMediaType
    {
    GUID majortype;          // 流的主类型GUID
    GUID subtype;            // 流的子类型GUID
    BOOL bFixedSizeSamples;     // 采样算法是固定大小，音频为TRUE
    BOOL bTemporalCompression;   // 时域压缩
    ULONG lSampleSize;        // 以字节为单位的采样大小
    GUID formattype;         // 数据格式类型、音频为WAVEFORMATEX
    IUnknown *pUnk;          // 未使用
    ULONG cbFormat;           // 不同媒体类型格式块的大小
    /* [size_is] */ BYTE *pbFormat; // 根据cbFormat决定该字段
    } 	AM_MEDIA_TYPE;

3、 注意事项

  1. 只有在同一个FilterGraph中Filter才能进行连接
  2. Filter间的连接不能直接用Pin或Filter的相关方法
  3. 需要使用IFilterGraph的ConnectDirect方法

4、Filter的连接过程

FilterGraph调用输出Pin的Connect方法、连接输入Pin

之后调用输入Pin的ReceivConnection方法， 是否允许双方的连接

如果ReceivConnection接受连接，则两个Pin连接成功

5、 Pin协商媒体的类型

Complete Type : 指定了具体的媒体类型 ： 举例子： I420格式， rgba格式 等等

Parial Media Type : 部分类型为GUID_NULL、表示任意类型

No Media Type： 传入NULL， 表示两个Pin可以接受任意媒体类型

6、协商分配器

两个Filter交换媒体数据的机制称为transport

通常两个Filter之间通过本地内存来交换数据

有两种本地内存交换数据的方式: push和pull

7、 push与pull

push模式: 源Filter使用IMeminputPin， push数据到下游Filter

pull模式: 下游Filter向源Filter请求，通过IAsyncReader获取数据

WebRTC使用的是push模式

8、allocator

负责分配内存Buffer的对象称为allocator

allocator支持IMemAllocator接口

两个Pin共享同一个allocator

无论谁提供allocator，最终由输出Pin决定使用那个allocator

输出Pin还决定allocator的属性

  1. allocator需要创建多少个buffer
  2. 每个buffer的大小
  3. 内存是否对齐

9、allocator协商的过程

输出Pin调用输入Pin的GetAllocatorRequirements获取buffer大小

输出Pin调用输入Pin的GetAllocator获取allocator

输入Pin调用NotifyAllocator通知输入Pin所做的选择

当流开始或停止时，输出Pin负责提交或者撤销allocator

FilterGraph中的数据流

有两种数据流： 媒体数据和控制数据

媒体数据向下游传播，控制数据向上游传播

音频、视频等都属于媒体数据

flush、流结束通知等都属于控制数据

投递采样

输出Pin调用输入Pin的Receive和ReciveMultiple投递采样

如果Pin可以阻塞， ReceivecanBlock能返回S_OK

但通信情况下不应该产生阻塞

SetCameraOutput流程图

六大步骤

在这里插入图片描述

IAMStreamConfig

该接口用于报告/设置设备支持的格式和能力

CaptureFilter的CapturePin和PreviewPin支持该接口

GetNumberOfCapabilities获取Pin支持的Capa数量

GetStreamCaps获取某个具体Capability

SetFormat用于设置硬件设备的输出格式

 MIDL_INTERFACE("C6E13340-30AC-11d0-A18C-00A0C9118956")
    IAMStreamConfig : public IUnknown
    {
    public:
        virtual HRESULT STDMETHODCALLTYPE SetFormat( 
            /* [in] */ AM_MEDIA_TYPE *pmt) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetFormat( 
            /* [annotation][out] */ 
            _Out_  AM_MEDIA_TYPE **ppmt) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetNumberOfCapabilities( 
            /* [annotation][out] */ 
            _Out_  int *piCount/*支持哪些Capabilities*/,
            /* [annotation][out] */ 
            _Out_  int *piSize/*每个Capabilities的大小*/) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetStreamCaps( 
            /* [in] */ int iIndex/*指定获取某个Index的Capability， 从0开始*/,
            /* [annotation][out] */ 
            _Out_  AM_MEDIA_TYPE **ppmt/*该方法分配且用媒体类型填充的*/,
            /* [annotation][out] */ 
            _Out_  BYTE *pSCC/*调用者分配 VIDEO_STREAM_CONFIG_CAPS*/) = 0;
        
    };

IAMStreamControl 控制播放

该接口用于控制视频采集操作， 如枚举帧率于图像方向

GetFrameRateList用于获取采集帧率列表

MIDL_INTERFACE("6a2e0670-28e4-11d0-a18c-00a0c9118956")
    IAMVideoControl : public IUnknown
    {
    public:
        virtual HRESULT STDMETHODCALLTYPE GetCaps( 
            /* [in] */ IPin *pPin,
            /* [annotation][out] */ 
            _Out_  long *pCapsFlags) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE SetMode( 
            /* [in] */ IPin *pPin,
            /* [in] */ long Mode) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetMode( 
            /* [in] */ IPin *pPin,
            /* [annotation][out] */ 
            _Out_  long *Mode) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetCurrentActualFrameRate( 
            /* [in] */ IPin *pPin,
            /* [annotation][out] */ 
            _Out_  LONGLONG *ActualFrameRate) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetMaxAvailableFrameRate( 
            /* [in] */ IPin *pPin,
            /* [in] */ long iIndex,
            /* [in] */ SIZE Dimensions,
            /* [annotation][out] */ 
            _Out_  LONGLONG *MaxAvailableFrameRate) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetFrameRateList( 
            /* [in] */ IPin *pPin /*查询帧率的Pin*/,
            /* [in] */ long iIndex /*查询帧率格式的索引值*/,
            /* [in] */ SIZE Dimensions /*以像素为单位图像的大小*/,
            /* [annotation][out] */ 
            _Out_  long *ListSize/*用于存放帧率列表元素个数*/,
            /* [annotation][out] */ 
            _Out_  LONGLONG **FrameRates/*存放帧率数组的地址指针*/) = 0;
        
    };

总结：

WebRTC源码分析地址：https://github.com/chensongpoixs/cwebrtc

chen_song_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C++ WebRTC基础(6) ：webrtc摄像头采集模块简介与代码分析
琅嬛福地
10-06 1380
  在rtc互动直播的项目中，必然有视频互动的功能，在pc端，那就得开启电脑得摄像头，采集摄像头数据，然后通过网络发送到对端，webrtc关于视频采集的模块在modules/video_capture. 首先来看看video_capture.h文件，class VideoCaptureModule封装了设备枚举，开始采集，结束采集、打开摄像头，采集数据，编码等，webrtc都做好了，我们直接直接调用VideoCaptureModule即可完成电脑摄像头视频采集的相关操作。   注意该类的两个方法 （1）视频
史上最详细的webrtc-streamer访问摄像机视频流教程
热门推荐
刘苏义的博客
03-31 3万+
最近公司在搞流媒体，我推荐了webrtc-streamer进行搭建，使用了一段时间后，出现新的需求，需要将内网的摄像机进行公网访问，我查询了几乎所有的帖子和github的问题回复，都没有给我一个准确的答案，经过不断尝试和摸索，我终于成功了，我希望将我的过程记录下来，让更多的中国开发者可以少走弯路，我对于webrtc不是很了解，但是这并不影响我使用开源的webrtc-streamer进行开发。
webRtc-stream实现网络摄像头的实时监控
StupidBoy的博客
04-19 1684
1、win7到win11都试过了，都可以。win11使用webrtc-streamer-v0.7.2（支持性比较好）。3、不要双击启动exe文件。有窗口和无窗口的bat文件已经写好了，文件在webrtc下。4、运行之后，改一下html的rtsp流。5、支持所有浏览器，不需要插件。2、打开30个延时在1s左右。
如何使用 WebRTC 获取摄像头视频
最新发布
gygkhd的博客
05-05 900
WebRTC 是一个强大的工具，能够帮助开发者在不安装任何第三方软件的情况下，在浏览器中实现实时视频和音频通信。通过简单的 HTML 和 JavaScript 代码，你可以轻松创建一个视频捕捉页面，为用户提供实时视频流。这种技术不仅适用于视频聊天应用，还可以扩展到各种实时交互场景中，如远程教学、在线协作等。
史上最傻瓜的监控流对接，网页无插件方式播放海康大华等监控rtsp流
张利龙的CSDN博客
03-06 910
网上监控流方案很多，真正能用的很少，本文提供下载包开箱即用
webrtc捕获多个同一类摄像头
qq_34214088的博客
12-28 507
如果有多个同款摄像头，先查看摄像头信息，GetDeviceName得到摄像头name,id，然后为每个摄像头创建一个捕获对象capturer = factory.Create(cricket::Device(sName, sId)); 但是这里创建capturer时，用的是name区别每个摄像头，因此会导致name相同的摄像头无法区分开来 std::unique_ptr<webrtc::VideoCaptureModule::DeviceInfo> info(webrtc::VideoCapt
webrtc2019最新官方源码1
11-18
webrtc官方源码上传限制分两个压缩包， 这是第一个，20191011更新，可以用git showlog
WebRTC源码.txt
04-25
该资源是WebRTC源码的网盘下载链接，该源码是2020年4月3日获取的最新源码，并不是通过修改源获取的国内镜像。下载不易，望与大家共享
基于webrtc的视频会议系统源码.zip
02-21
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设...基于webrtc的视频会议系统源码.zip基于webrtc的视频会议系统源码.zip
Webrtc源码开发笔记1 —Webrtc视频编码打包流程模块图解.zip
06-12
Webrtc源码开发笔记1 —Webrtc视频编码打包流程模块图解 梳理webrtc从transceiver到transport流程，从而宏观上了解webrtc视频采集，编码，打包发送等相关流程与相关模块的对应关系，为开发和快速定位问题提供参考。
WebRTC源码
06-29
webrtc官方源码，需要研究的请自取
网络摄像头源码
12-12
网络 摄像头 源码
摄像头的源代码
03-18
仅供初学者使用，可能会错在错误，你可以修改后使用。
海思网络摄像头源码
07-10
海思网络摄像头源码 。
OV7670摄像头全套源码（包括上位机，下位机，原理图）
12-25
OV7670摄像头上位机软件，使用QT编写，通过CY7C68013传输数据，上位机发送数据，然后下位机上传一帧图像。整套系统需要上位机软件，CY7C68013程序，FPGA程序。这个是上位机软件的源代码 上位机： OV7670摄像头上位机软件，使用QT编写，通过CY7C68013传输数据，上位机发送数据，然后下位机上传一帧图像。整套系统需要上位机软件，CY7C68013程序，FPGA程序。 原理图： 整套系统需要上位机软件，CY7C68013程序，FPGA程序 下位机： CY7C68013程序，FPGA程序 参考信息： https://blog.csdn.net/chengfengwenalan/article/details/80282946
c#操作摄像头源码 获取摄像头图像源码
08-14
c#操作摄像头源码 获取摄像头 图像 源码
WebRTC学习总结（1）：本地视频的获取和录制
M&Q的博客
06-03 2280
WebRTC学习总结（1）：本地视频的获取和录制简单介绍1. 本地视频的播放2. 视频录制 简单介绍 WebRTC （ Real-Time Communications）是一个可以在 Web 应用程序中实现音频、视频和数据的实时通信的开源项目，它封装了很多音视频的采集、处理功能，比如音视频流的编解码、降噪和回声消除等。通过WebRTC，我们可以方便地获取优化后的媒体流，将其输入到本地或转发给其他对等端。 WebRTC设计的初衷是为了在无插件的条件下实现两个浏览器之间**点对点（peer to peer，P2
WebRTC之视频采集
shichaog的专栏
05-17 3008
基于WebRTC的实时音视频会议中对于视频处理流水，第一级就是视频采集，视频内容可以摄像头、屏幕和视频文件，视频来源的操作系统可以是Linux、Windows、Mac，IOS以及Android，不同的平台由不同的公司开发设计，因而他们从camera获取视频的底层框架并不一样，Linux系统使用V4L2（Video for Linux Version 2），Mac和IOS都是苹果公司开发的，都使用AVFoundation框架，Windows使用的是微软开发的DS（Direct Show）框架，Android使
webrtc c++（三） peerConnection分析
i7891090的博客
06-30 2483
peerconnection是webrtc面向外面的音视频交互的统一接口，可以理解为一个功能特别强大的socket接口，里面保存了实时交互的所有信息,同时音视频的转发与接收也是通过peerconnection来完成 1 peerconnection 概述 peerconnection继承自PeerConnectionInterface 接口，所以作为对外暴露的统一接口为PeerConnectionInterface，通过工厂方法来通过统一创建PeerConnectionInterface 来创建peer
c++webrtc源码打开摄像头
04-05
在WebRTC源码中打开摄像头，需要使用MediaStreamTrack来访问设备的视频流。下面是一个简单的示例代码： ``` let stream = await navigator.mediaDevices.getUserMedia({ video: true }); let videoTrack = stream.getVideoTracks()[0]; // 将视频流绑定到video元素上 let video = document.getElementById('video'); video.srcObject = new MediaStream([videoTrack]); video.play(); ``` 在这个示例中，我们调用了`getUserMedia`方法来请求用户授权访问摄像头。然后，我们获取了视频流中的第一个视频轨道，并将其绑定到一个HTML video元素上，最后开启视频播放。注意，这个示例只是一个简单的演示，实际情况中可能需要进行更多的处理和错误处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值