webRtc ScreenCapturer 视频编码流程

SurfaceTextureHelper前台每一帧刷新后,调用tryDeliverTextureFrame尝试获取新的一帧----成功后调用VideoSink#onFrame()通知ScreenCapturerAndroid,由视频流观察者VideoSource#onFrameCapture()---> NativeAndroidVideoTrackSource#onFrameCaptured(VideoFrame frame)调用到native代码android/generated_video_jni/NativeAndroidVideoTrackSource_jni.h#Java_org_webrtc_NativeAndroidVideoTrackSource_nativeOnFrameCaptured() ----> android_video_track_source.cc#OnFrameCaptured --->  video_frame.cc#javaToNativeFrameBuffer()  根据编码类型编码

这里就可以添加自己的编码方式,比如ffmpeg

在本地视频通话使用过程中,oppo,华为,Google,小米,honor等手机能正常编辑码

但是录屏时,现有的几种方式,机型适配出现黑屏,解码失败

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
WebRTC是一个实时通信的开源项目,其源码开发涵盖了视频编码、打包以及流程模块等。在这个开发笔记中,我将对WebRTC视频编码打包流程模块进行图解说明。 WebRTC视频编码打包流程主要涉及到以下几个模块:视频源模块、视频编码模块、打包模块和传输模块。 首先是视频源模块,它负责从摄像头或者文件中获取视频数据。该模块通过调用底层API来获取视频帧,并将其传递给下一个模块。 接下来是视频编码模块,它负责将获取到的视频帧进行压缩编码。具体来说,该模块会对视频帧进行压缩算法处理,将其转换为可传输的数据格式。WebRTC支持多种视频编码算法,如VP8、H.264等。 然后是打包模块,它负责将编码后的视频数据打包成数据包。该模块会对视频数据进行分片,并为每个片设置头部信息,以便接收端能够正确解析和处理。 最后是传输模块,它负责将打包好的视频数据通过网络传输到接收端。该模块依赖于网络协议,如UDP或TCP等进行数据传输。在传输过程中,还会涉及到网络拥塞控制和丢包重传等机制,以保证传输的稳定性和可靠性。 以上就是WebRTC视频编码打包流程模块的图解说明。通过这些模块的协作,WebRTC能够实现实时的视频传输和通信功能。开发者可以根据需要对各个模块进行定制和扩展,以满足不同的应用场景需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值