WebRTC线程的退出销毁不了的问题分析的流程

最新推荐文章于 2023-10-31 16:25:34 发布
最新推荐文章于 2023-10-31 16:25:34 发布
阅读量1.9k 收藏
点赞数
分类专栏： WebRTC源码探秘 MediaSoup流媒体 音视频 文章标签： webrtc 音视频
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/poisx/article/details/122527469
版权

WebRTC线程的退出销毁不了的问题分析的流程

WebRTC线程的退出销毁不了的问题分析的流程

WebRTC专题开嗨鸭 ！！！

一、 WebRTC 线程模型和网络

1、WebRTC中线程模型和常见线程模型介绍

2、WebRTC网络PhysicalSocketServer之WSAEventselect模型使用

3、WebRTC线程的退出销毁不了的问题分析的流程

二、 WebRTC媒体协商

1、WebRTC媒体协商之CreatePeerConnectionFactory、CreatePeerConnection、CreateOffer

三、 WebRTC 音频数据采集

四、 WebRTC 音频引擎(编解码和3A算法)

五、 WebRTC 视频数据采集

六、 WebRTC 视频引擎( 编解码)

七、 WebRTC 网络传输

八、 WebRTC服务质量(Qos)

九、 NetEQ

十、 Simulcast与SVC

前言

WebRTC是音视频行业的标杆， 如果要学习音视频， WebRTC是进入音视频行业最好方法， 里面可以有成熟方案， 例如：音频中3A 算法、网络评估、自适应码流、Simulcast、SVC等等 ， 非常适合刚刚进入音视频行业小伙伴哈_ 我也是哦， 以后再音视频行业长期打算的小伙伴的学习项目。 里面有大量知识点

提示：以下是本篇文章正文内容，下面案例可供参考

一、WebRTC 三大线程销毁了， 但是main函数还是没有退出的问题复现

main 函数中连接mediasoup服务器进行推流哈的流程代码

const char* config_filename = "client.cfg";
	if (argc > 1)
	{
		config_filename = argv[1];
	}
	signal(SIGINT, signalHandler);
	signal(SIGTERM, signalHandler);
	std::thread m_thread;
	int32_t  count = 0;
	if (!ccloud_rendering_mgr.init(config_filename))
	{
		// error
		return -1;
	}
	printf("init ok  2... \n");
	while (true)
	{
		printf("main loop ........ \n");
		m_thread = std::thread(
			[=]() {
			printf("child ->  loop ........ \n");
			ccloud_rendering_mgr.Loop();
			printf("child ->  loop exit ........ \n");
		}
		);
		printf("main [g_thread_count = %d] loop min 2... \n", g_thread_count);
		std::this_thread::sleep_for(std::chrono::seconds(30));
		printf("main [g_thread_count = %d][] loop min 2... \n", g_thread_count);
		ccloud_rendering_mgr.Destroy();
		
		++count;
		if (m_thread.joinable())
		{
			m_thread.join();
		}
		if (count < 10)
		{
			break;
		}
	}
	//mediasoupclient::Handler::all_close();
	printf("all stop\n");
	//std::this_thread::sleep_for(std::chrono::seconds(10));
	
	all_stop();
	printf("+++++++++++++++++ all stop ok !!! \n");
	//std::this_thread::sleep_for(std::chrono::seconds(5));
	
	
	//std::this_thread::sleep_for(std::chrono::minutes(1));
	//webrtc::GlobalTaskQueueFactory()
	//while (true)
	{
		printf("main [g_thread_count = %d] ====================loop min 2... \n", g_thread_count);
		std::this_thread::sleep_for(std::chrono::seconds(10));
		printf("main exit [g_thread_count = %d] ====================loop min 2... \n", g_thread_count);
		
	}
	return 0;

在all_stop函数中进行三大线程销毁 （workerThread、signalingThread、networkThread）

三大线程是全局的线程哈


if (!networkThread || !signalingThread || !workerThread)
			{
				networkThread = rtc::Thread::CreateWithSocketServer();
				signalingThread = rtc::Thread::Create();
				workerThread = rtc::Thread::Create();
				networkThread->SetName("network_thread", nullptr);
				signalingThread->SetName("signaling_thread", nullptr);
				workerThread->SetName("worker_thread", nullptr);
			}
			g_thread_count += 3;
			/*this->networkThread->SetName("network_thread", nullptr);
			this->signalingThread->SetName("signaling_thread", nullptr);
			this->workerThread->SetName("worker_thread", nullptr);*/
			static bool load = false;
			if (! load)
			{
				load = true;
				networkThread->Start(); 
				signalingThread->Start();
				workerThread->Start();
				//MSC_THROW_INVALID_STATE_ERROR("thread start errored");
			}

/



if (signalingThread)
	{
		signalingThread->Stop();

	}
	if (workerThread)
	{
		workerThread->Stop();
	}
	if (networkThread)
	{
		networkThread->Stop();
	}

运行后程序退不出了， 中线程情况图

在这里插入图片描述

线程分类

  1. main主线线程
  2. waitforWorkViaWorkFactory工作线程（7个线程）
  3. sogou线程（2个线程）
  4. rtc_low_prio线程音频录制维护功能（LOW） （1个线程）
  5. AudioDeviceBufferTimer音频buffer缓冲区线程(1个线程)

二、 分析问题解决的方法

正常情况退出代码分析

mediasoupclient::Handler::GetNativeRtpCapabilities(nullptr);
	 workerThread->Stop();
	 signalingThread->Stop();
	 networkThread->Stop();
	 //while (true)
	 {
		 printf("sleep  2 seconds ....\n");

		 std::this_thread::sleep_for(std::chrono::seconds(50));
	 }

线程图
在这里插入图片描述

线程分为 两大类分别是

main线程wiat线程是正常的

我先是卸载搜狗输入了，然后SogouPy.ime线程没有了、 好奇？？？ （sogouPy玩的hook技术呢）
然后查音频线程停止的函数 rtc-low-prio 是channel_manager_中音频引擎中创建的 创建init中创建在析构中停止线程的，但是我发现析构中调用不会调用函数还是什么的 ？？然后我就自动调用停止音频的录制后线程就退出哈 在peerconnectionfactory调用了StopAecDump音频录制的函数然后就正常退出哈

WebRtcVoiceEngine::WebRtcVoiceEngine(
    webrtc::TaskQueueFactory* task_queue_factory,
    webrtc::AudioDeviceModule* adm,
    const rtc::scoped_refptr<webrtc::AudioEncoderFactory>& encoder_factory,
    const rtc::scoped_refptr<webrtc::AudioDecoderFactory>& decoder_factory,
    rtc::scoped_refptr<webrtc::AudioMixer> audio_mixer,
    rtc::scoped_refptr<webrtc::AudioProcessing> audio_processing)
    : task_queue_factory_(task_queue_factory),
      adm_(adm),
      encoder_factory_(encoder_factory),
      decoder_factory_(decoder_factory),
      audio_mixer_(audio_mixer),
      apm_(audio_processing) {
  // This may be called from any thread, so detach thread checkers.
  worker_thread_checker_.Detach();
  signal_thread_checker_.Detach();
  RTC_LOG(LS_INFO) << "WebRtcVoiceEngine::WebRtcVoiceEngine";
  RTC_DCHECK(decoder_factory);
  RTC_DCHECK(encoder_factory);
  RTC_DCHECK(audio_processing);
  // The rest of our initialization will happen in Init.
}

WebRtcVoiceEngine::~WebRtcVoiceEngine() {
  RTC_DCHECK(worker_thread_checker_.IsCurrent());
  RTC_LOG(LS_INFO) << "WebRtcVoiceEngine::~WebRtcVoiceEngine";
  if (initialized_) {
    StopAecDump();

    // Stop AudioDevice.
    adm()->StopPlayout();
    adm()->StopRecording();
    adm()->RegisterAudioCallback(nullptr);
    adm()->Terminate();
  }
}
void WebRtcVoiceEngine::Init() {
  RTC_DCHECK(worker_thread_checker_.IsCurrent());
  RTC_LOG(LS_INFO) << "WebRtcVoiceEngine::Init";
  //这边音频采集设备录音线程哈
  // TaskQueue expects to be created/destroyed on the same thread.
  low_priority_worker_queue_.reset(
      new rtc::TaskQueue(task_queue_factory_->CreateTaskQueue(
          "rtc-low-prio", webrtc::TaskQueueFactory::Priority::LOW)));

  // Load our audio codec lists.
  RTC_LOG(LS_INFO) << "Supported send codecs in order of preference:";
  send_codecs_ = CollectCodecs(encoder_factory_->GetSupportedEncoders());
  for (const AudioCodec& codec : send_codecs_) {
    RTC_LOG(LS_INFO) << ToString(codec);
  }

  RTC_LOG(LS_INFO) << "Supported recv codecs in order of preference:";
  recv_codecs_ = CollectCodecs(decoder_factory_->GetSupportedDecoders());
  for (const AudioCodec& codec : recv_codecs_) {
    RTC_LOG(LS_INFO) << ToString(codec);
  }

#if defined(WEBRTC_INCLUDE_INTERNAL_AUDIO_DEVICE)
  // No ADM supplied? Create a default one.
  if (!adm_) {
    adm_ = webrtc::AudioDeviceModule::Create(
        webrtc::AudioDeviceModule::kPlatformDefaultAudio, task_queue_factory_);
  }
#endif  // WEBRTC_INCLUDE_INTERNAL_AUDIO_DEVICE
  RTC_CHECK(adm());
  webrtc::adm_helpers::Init(adm());
  webrtc::apm_helpers::Init(apm());

  // Set up AudioState.
  {
    webrtc::AudioState::Config config;
    if (audio_mixer_) {
      config.audio_mixer = audio_mixer_;
    } else {
      config.audio_mixer = webrtc::AudioMixerImpl::Create();
    }
    config.audio_processing = apm_;
    config.audio_device_module = adm_;
    audio_state_ = webrtc::AudioState::Create(config);
  }

  // Connect the ADM to our audio path.
  adm()->RegisterAudioCallback(audio_state()->audio_transport());

  // Set default engine options.
  {
    AudioOptions options;
    options.echo_cancellation = true;
    options.auto_gain_control = true;
    options.noise_suppression = true;
    options.highpass_filter = true;
    options.stereo_swapping = false;
    options.audio_jitter_buffer_max_packets = 200;
    options.audio_jitter_buffer_fast_accelerate = false;
    options.audio_jitter_buffer_min_delay_ms = 0;
    options.audio_jitter_buffer_enable_rtx_handling = false;
    options.typing_detection = true;
    options.experimental_agc = false;
    options.extended_filter_aec = false;
    options.delay_agnostic_aec = false;
    options.experimental_ns = false;
    options.residual_echo_detector = true;
    bool error = ApplyOptions(options);
    RTC_DCHECK(error);
  }

  initialized_ = true;
}

只是我调用StopAecDump函数后线程退出的线程情况


if (peerConnectionFactory)
		{
			peerConnectionFactory->StopAecDump();
		}

在这里插入图片描述

三、 WebRTC中线程介绍

线程类型线程名称全局变量功能所属模块
Threadsignaling_threadsignaling_thread_信令线程，主要负责事件和状态消息处理
Threadworker_threadworker_thread_工作者线程，主要跟各种数据流相关消息处理
Threadnetwork_threadnetwork_thread_网络线程，处理接收网络报文网络
PlatformThreadPacerThreadpacer_thread_ pacer平滑发送报文网络
PlatformThreadVoiceProcessThread_moduleProcessThreadPtr好像是VOD检测？还是会场混音算法？ 待确认
PlatformThreadcall_worker_queueworker_queue_音视频网络状态检测资源管理
PlatformThreadModuleProcessThreadmodule_process_thread_挂载定时调用函数资源管理
PlatformThreadEncoderQueueencoder_queue_视频编码视频
PlatformThreadDecodingThreaddecode_thread_视频解码（kHighestPriority）视频
PlatformThreadIncomingVideoStreamincoming_render_queue_视频渲染（HIGH）视频
PlatformThreadAudioEncoderQueueencoder_queue_音频编码音频
CreateThread_hRecThread音频采集音频
CreateThread_hPlayThread音频渲染（解码和渲染在一个线程里）音频
CreateThread_hGetCaptureVolumeThread获取音量参数音频
CreateThread_hSetCaptureVolumeThread配置音频参数音频
PlatformThreadrtc-low-priolow_priority_worker_queue_音频录制维护功能（LOW） 维护
PlatformThreadAudioDeviceBufferTimertask_queue_周期调用LogStats维护
PlatformThreadrtc_event_logtask_queue_维护功能维护

总结

代码项目地址：https://github.com/chensongpoixs/cmediasoup_push

chen_song_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
音视频开发，WebRTC音频引擎实现分析
yinshipin007的博客
03-14 473
Channel是对一路音频数据及其处理过程的抽象，是VoiceEngineImpl中最重要的底层实现类，其继承并实现RtpData、RtpFeedback、FileCallback、Transport、PacketizationCallback、ACMVADCallback、MixerParticipant等多个接口，分别负责音频数据编码后回掉、发送到网络、接收后存储到NetEq缓冲区、播放前混音等一些列重要操作。AudioDeviceModule模块负责音频数据的采集和播放，是音频数据的发源地和目的地。
webrtc和speex回声消除的处理流程和对比
02-25
"webrtc和speex回声消除的处理流程和对比" Speex和webrtc都是用于处理回声消除的算法，两者之间有所区别，speex的回声消除效果好坏取决于线性回声消除的性能，而webrtc的AEC和AECM实现原理不同，AEC的线性回声消除...
webRtc播放rtsp视频流（vue2、vue3+vite+ts）
weiqiang915的博客
04-18 8856
web播放rtsp视频流
WebRTC中的scoped_refptr解析
HermanOpenGL的专栏
08-31 544
众所周知，C++中在堆中申请的内存都需要程序员自己手动删除，这是C++容易造成内存泄漏的根本原因。使用过Java的朋友都清楚，Java有完善的内存回收机制，无需程序员调用释放内存的操作。C++里是否能够实现类似Java的自动回收内存的机制呢？答案是肯定的，而Webrtc中的scoped_refptr就是实现类似的功能。 首先我们从这个类的名字入手去理解它的含义。名字由三个单词组成，分别为scope，ref，ptr。 先看ptr，C++程序员都知道这是pointer指针的意思，但是类名中包含指针的语义，.
webrtc QOS方法四.5（gcc获取码率pacer、fec、编码器配置）
CrystalShaw的博客
10-20 1269
一、gcc获取码率后，码率分配函数调用栈信息如下： 二、RtpTransportControllerSend::PostUpdates函数配置码率函数 三、GoogCcNetworkController::GetPacingRates：pacing_factor_默认2.5。也就是说pacer发送报文的码率是探测码率的2.5倍。 四、RtpVideoSender::OnBitrateUpdated：根据探测码率、当前帧率、丢包率、rtt环路延时、丢包模型，确定编码器的码率。 ...
webrtc 的线程模型
abc1231987的专栏
10-30 409
webrtc 的PC Factory 拥有3个线程： 1）signaling_thread_ ：所有PCFactory 和PC 的对外接口，都会切换到signaling_thread_ 执行，而PC Observer 所有的回调函数也都在signaling_thread_ 执行。 2） network_thread_：和网络有关的操作都在 network_thread_执行，比如收发数据包、绑定网络端口等。 3） w...
webrtc降噪流程图
02-25
WebRTC 降噪流程图 WebRTC 降噪流程图是基于谱减法和维纳滤波器的降噪算法，旨在消除语音信号中的噪声。整个流程图可以分为四个部分：信号分析、噪声估计和过滤、信号合成。 信号分析 在信号分析阶段，首先对输入...
webrtc架构分析
04-29
WebRTC 架构分析 WebRTC（Web Real-Time Communication）是一种支持网页浏览器进行实时语音对话或视频对话的技术。其最终目的主要是让 Web 开发者能够基于浏览器轻易快捷开发出丰富的实时多媒体应用，而无需下载...
webrtc抓包分析.zip
05-21
通过对WebRTC的抓包分析，我们可以深入了解其工作原理，排查网络问题，优化性能。 **WebRTC的数据传输层** WebRTC使用了SRTP（Secure Real-time Transport Protocol）来加密和保护媒体流，SCTP（Stream Control ...
WebRTC_AEC_流程图
02-13
AEC（Acoustic Echo Cancellation，声学回声消除）是WebRTC技术中的一个关键组件，用于处理在语音通话或视频会议中常见的回声问题。 在传统的电话系统或VoIP应用中，声音可以通过扬声器和麦克风来回反弹，导致听者...
android webrtc 资源释放的问题
zww986736788的博客
03-26 1986
最近的音视频研究的有点多额。。。。。。 今天来说下我遇到的问题 1.从A页面点击按钮跳转到扫描二维码页面，首次可以成功，进入音视频通话页面后挂断视频，再次扫描就会出现，failed to connect camera service这个。。真的是很糟心。原来，webrtc里面有一个VideoSource 里面封装了camera资源，而我。。没有释放掉。soga 下面，来看看俺写的那个w...
WebRTC 丢包的原因及防止方式
最新发布
liveweb视频汇聚平台
10-31 216
例如，0.5% 或更低的数据包丢失率通常适合游戏，而 VoIP 通常可以接受低于 1% 的数据包丢失率。系统基础设施是另一个挑战，如果它没有足够的能力来处理和防止数据包丢失，那么您的大部分数据都将丢失。您还可以将有效负载分布在不同的服务器之间，以确保服务器资源得到有效利用，这也降低了可能导致数据包丢失的过载风险。如果您的设备不是最新版本，没有达到最佳运行状态，或者感染了恶意软件，那么互联网连接可能会受到影响，导致互联网数据包丢失。正如我们上面提到的，在典型的网络丢包场景中，原因很可能是由于网络拥塞造成的。
SRS--停止客户端推流
evsqiezi
07-20 4375
方法：查询到用户编号，即cid，然后调用delete。 查询所有流 curl -v -X GET http://10.1.0.222:1985/api/v1/streams/ {"code":0,"server":24418,"streams":[{"id":24420,"name":"123","vhost":24419,"app":
超低延时安防直播系统webrtc-client测试推送多路视频流关闭其中一路后所有推流都关闭问题解决
TSINGSEE青犀视频官方技术博客
02-22 639
Webrtc作为TSINGSEE青犀视频突破视频直播延时的新方式，我们投入了不少精力对此进行研究，目前的webrtc-client已经初具雏形。 在测试过程中，使用webrtc推两路rtsp流，在浏览器可以正常播放，两路流都可以播放；但是假如关闭其中一路的推流，浏览器video标签中所有流的视频画面都会卡住不动，刷新页面也不会出现视频流的id。 正常状态下后端应该会返回视频id，即下图中圈出的位置。 但在该错误状态下，这个返回数组显示为空。该处连数据都获取不到，因此我们考虑是服务端问题，.
流媒体学习之路(mediasoup)——拥塞控制分析（6）
qw225967的博客
10-11 1814
流媒体学习之路(mediasoup)——拥塞控制分析（6） 文章目录流媒体学习之路(mediasoup)——拥塞控制分析（6）
Android上 PeerConnection 与 PeerConnectionFactory 的释放
我的玻璃盒子
05-28 3392
我们在使用WebRTC Android native SDK进行开发的时候，PeerConnection与PeerConnectionFactory是两个再熟悉不过的类了。他们的源码分别位于： src\sdk\android\api\org\webrtc\PeerConnectionFactory.java src\sdk\android\api\org\webrtc\PeerConnecti...
Vue项目使用WebSocket技术
weixin_45189855的博客
07-07 1547
【基础】为什么使用WebSocket？ ​ 前端和后端的交互模式最常见的就是前端发数据请求，后端响应传输数据之前端进行展示。如果前端不操作，后端不能主动向前端推送数据。 ​ 因此，在业务场景需服务端主动向客户端推送消息，同时客户端也可以主动向服务端发送消息时，那就有了WebSocket的用武之地。 【特点】WebSocket的特点如下： （1）建立在 TCP 协议之上，服务器端的实现比较容易。 （2）与 HTTP 协议有着良好的兼容性。默认端口也是80和443，并且握手阶段采用 HTTP 协议，因此握手
RTCPeerConnection基本概念 -- 以及创建和绑定音视频以及渲染远端视频时候的作用
qq_33329316的博客
05-09 2421
RTCPeerConnection 是WebRTC的核心的 是其暴露个用户的统一接口 其由多个模块组成 · 网络处理模块 · 服务质量模块 · 音视频引擎模块 等等 最最厉害的就是根据网络情况动态调整出音视频的最佳服务质量 创建RTCPeerConnection 配置ICE 也就是建立网络协商方式 var pcConfig = { 'iceServers': [{ 'urls': 'turn:xxx.fun:3478', 'credential': "root", 'use
"WebRTC技术解析与架构分析：实时通信应用开发的关键技术
WebRTC项目的最终目的是让Web开发者能够轻松快速地使用浏览器创建丰富的实时多媒体应用，而不需要下载安装任何插件。Web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的Javascript程序即可实现。W3C等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值