webrtc中视频帧时间戳的打印

帧封装形式:

webrtc::VideoFrame

时间戳:

uint32_t timestamp_rtp_;  rtp时间戳    默认为 0    编码前赋值
int64_t ntp_time_ms_;     ntp时间      默认为 0    编码前赋值
int64_t timestamp_us_;    采集时系统时间           采集时赋值

传输过程:

VideoBroadcaster::OnFrame -> VideoStreamEncoder::OnFrame()

ntp_time_ms_的计算:

delta_ntp_internal_ms_ = clock_->CurrentNtpInMilliseconds() - clock_->TimeInMilliseconds();
ntp_time_ms_ = timestamp_us_ / 1000 + delta_ntp_internal_ms_;

delta_ntp_internal_ms_即系统时间和ntp时间的差值,VideoStreamEncoder对象初始化时计算好

ntp_time_ms_为用帧的采集时的系统时间加上系统时间与ntp时间的差值

 

timestamp_rtp_的计算:

视频采样率:90 * 1000,即一秒采集90 * 1000个样本,那么一毫秒就是采集90个样本

const int kMsToRtpTimestamp = 90;
uint32_t ntp_low_time_ms = static_cast<uint32_t>(incoming_frame.ntp_time_ms());
timestamp_rtp_ = 90 * ntp_low_time_ms;

即将ntp时间转换为对应的采样个数就是rtp时间戳

 

rtp打包的时间戳的计算:

VideoFrame中的时间戳一直被传递到发送阶段,在发送前进行rtp打包时对时间戳做了一点处理,即

rtp_timestamp = timestamp_offset_ + capture_timestamp
timestamp_offset_ = random_.Rand<uint32_t>();
capture_timestamp = VideoFrame.timestamp_rtp_;

so:
rtp_timestamp = timestamp_offset_ + VideoFrame.timestamp_rtp_;

 

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
WebRTC视频添加元数据信息可以通过以下步骤实现: 1. 使用getUserMedia()方法获取视频流。 2. 将视频流添加到RTCPeerConnection。 3. 使用Canvas绘制视频,并在Canvas上添加元数据信息。例如,在Canvas上使用JavaScript代码添加文本或图像等信息。 4. 使用Canvas的toDataURL()方法将Canvas的内容转换为Base64编码的图像数据。 5. 将Base64编码的图像数据作为元数据添加到视频。可以使用WebRTC的RTCRtpSender对象的send()方法将视频发送到远端。 以下是示例代码: ```javascript // 获取视频流 navigator.mediaDevices.getUserMedia({ video: true }) .then(function(stream) { // 将视频流添加到RTCPeerConnection var pc = new RTCPeerConnection(); pc.addStream(stream); // 获取视频轨道 var videoTrack = stream.getVideoTracks()[0]; // 创建Canvas元素 var canvas = document.createElement('canvas'); var ctx = canvas.getContext('2d'); // 监听视频轨道的onended事件 videoTrack.onended = function() { pc.close(); }; // 监听视频轨道的onactive事件 videoTrack.onactive = function() { // 每隔一段时间处理一视频 setInterval(function() { // 绘制视频到Canvas上 ctx.drawImage(video, 0, 0, canvas.width, canvas.height); // 在Canvas上添加元数据信息 ctx.fillText('This is a test', 10, 10); // 将Canvas的内容转换为Base64编码的图像数据 var imageData = canvas.toDataURL('image/png'); // 将元数据信息添加到视频 var frame = new VideoFrame(videoTrack, { width: canvas.width, height: canvas.height, timestamp: performance.now(), data: { metadata: imageData } }); // 将视频发送到远端 var sender = pc.getSenders().find(function(s) { return s.track === videoTrack; }); sender.send(frame); }, 1000 / 30); // 每秒30 }; }) .catch(function(error) { console.error(error); }); ``` 上述代码仅供参考,具体实现方式可能因应用场景而异。另外,需要注意的是,添加元数据信息可能会增加视频的大小,从而影响视频传输的性能。因此,需要根据实际情况进行优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

airmanisvip

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值