简述WebRTC的音视频同步

参考WebRTC 音视频同步原理与实现 - 知乎

下图是上文中的。

音视频的RTP的时间戳，加了一个随机的偏移量，且两者不等。通过RTCP的SR包的NTP、RTP时间戳，计算出音视频的RTP时间戳偏移量，即图中的offset。

offset随着收到的SR包一直在更新。

按我理解，offset是rtp时间戳的偏移，不是ntp的时间差。

RtpStreamsSynchronizer::Process() {
 ...
 int relative_delay_ms;
  // Calculate how much later or earlier the audio stream is compared to video.
  if (!sync_->ComputeRelativeDelay(audio_measurement_, video_measurement_,
                                   &relative_delay_ms)) {
    return;
  }

   if (!sync_->ComputeDelays(relative_delay_ms,
                            audio_info->current_delay_ms,
                            &target_audio_delay_ms,
                            &target_video_delay_ms)) {
    return;
  }


  syncable_audio_->SetMinimumPlayoutDelay(target_audio_delay_ms);
  syncable_video_->SetMinimumPlayoutDelay(target_video_delay_ms);
}

relative_delay_ms = video_measurement.latest_receive_time_ms -
      audio_measurement.latest_receive_time_ms -
      (video_last_capture_time_ms - audio_last_capture_time_ms); 

video_last_capture_time_ms是视频的rtp offset，audio_last_capture_time_ms是音频的rtp offset。

ComputeDelays：每次调整不超过kMaxChangeMs-80ms。

diff_ms>0：extra_video_delay_ms减去diff_ms，extra_audio_delay_ms=0。

target_video_delay_ms赋给VCMTiming的min_playout_delay_ms_。

没有ffplay中的，视频同步到音频上的说法。

日志显示target_audio_delay_ms、target_video_delay_ms 大部分值是几十。