Android平台一对一音视频通话方案对比：WebRTC VS RTMP VS RTSP

最新推荐文章于 2024-07-25 08:27:17 发布
最新推荐文章于 2024-07-25 08:27:17 发布
阅读量1.1k 收藏 19
点赞数 22
分类专栏： 音视频开发 文章标签： android 音视频 webrtc rtmp nginx 服务器 Nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73443478/article/details/135129765
版权

一对一音视频通话使用场景

一对一音视频通话都需要稳定、清晰和流畅，以确保良好的用户体验，常用的使用场景如下：

  1. 社交应用：社交应用是一种常见的使用场景，用户可以通过音视频通话进行面对面的交流；
  2. 在线教育：老师和学生可以通过音视频通话功能进行实时互动，提高教学效率；
  3. 远程协助：在某些工作场景下，比如应急指挥项目，需要通过音视频通话功能进行远程协助，进行技术支持、维修服务等；
  4. 视频会议：一对一的音视频通话是视频会议非常重要的一部分，用于两个参会者之间的沟通，当然也可以合流输出；
  5. 语音通话：使用语音通话，如在行车过程中，此时语音通话就是一个很好的选择。

本文福利， 免费领取C++音视频学习资料包+学习路线大纲、技术视频/代码，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，编解码，推拉流，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

一对一音视频通话技术方案

WebRTC方案

在Android平台上实现一对一音视频通话，你可以使用WebRTC，WebRTC提供了实时音视频通话的功能。以下是一个简单的步骤说明如何实现：

  1. 设置环境：首先，你需要在你的开发环境中安装Android Studio，并且配置好必要的SDK；
  2. 添加依赖：在你的项目中，你需要添加WebRTC的库。在你的build.gradle文件中添加如下依赖；
  3. 实现音视频捕获：你需要实现音视频的捕获。在Java中，你可以使用AudioRecord和VideoCapturer类来实现；
  4. 创建PeerConnection：创建PeerConnection对象，这个对象会用于音视频的编解码和网络传输；
  5. 显示本地音视频流：使用MediaStream.VideoTrack和MediaStream.AudioTrack将捕获的音视频流添加到PeerConnection中，然后通过VideoRenderer和AudioRenderer显示出来；
  6. 创建并发送offer：创建并发送一个offer，这个offer包含了你的音视频通道信息以及你愿意接受的连接参数；
  7. 接收并解析offer：在另一端，接收到offer后，解析出音视频通道信息以及连接参数，然后创建并返回一个answer；
  8. 接收answer：在本地，接收到answer后，解析出音视频通道信息以及连接参数，然后创建并启动对应的通道。

RTMP方案

RTMP是一种基于TCP的流媒体协议，主要用于视频直播。它提供了实时传输音频和视频的功能，可以用于一对一或一对多的场景，RTMP可用于内网或公网环境下，缺点是需要单独部署RTMP Server，数据通过RTMP Server中转，配合低延迟的RTMP Player，互动可以很轻松的在毫秒级。

demo为例，RTMP推送的代码如下：

class ButtonPushStartListener implements OnClickListener
    {
        public void onClick(View v)
        {    
            if (isPushingRtmp)
            {
                stopPush();
                btnPushStartStop.setText("推送RTMP");
                isPushingRtmp = false;
                return;
            }
            Log.i(PUSH_TAG, "onClick start push rtmp..");
            if (libPublisher == null)
                return;
            InitPusherAndSetConfig();
            Log.i(PUSH_TAG, "videoWidth: "+ pushVideoWidth + " videoHeight: " + pushVideoHeight + " pushType:" + pushType);
            if ( libPublisher.SmartPublisherSetURL(publisherHandle, publishURL) != 0 )
            {
                Log.e(PUSH_TAG, "Failed to set rtmp pusher URL..");
            }
            int startRet = libPublisher.SmartPublisherStartPublisher(publisherHandle);
            if (startRet != 0) {
                isPushingRtmp = false;
                Log.e(TAG, "Failed to start push stream..");
                return;
            }
            CheckInitAudioRecorder();
            btnPushStartStop.setText("停止推送 ");
            isPushingRtmp = true;
    };

停止RTMP推送：

//停止rtmp推送
private void stopPush() {
  if(!isPushingRtmp)
  {
    return;
  }
  if ( !isRTSPPublisherRunning) {
    if (audioRecord_ != null) {
      Log.i(TAG, "stopPush, call audioRecord_.StopRecording..");
      audioRecord_.Stop();
      if (audioRecordCallback_ != null) {
        audioRecord_.RemoveCallback(audioRecordCallback_);
        audioRecordCallback_ = null;
      }
      audioRecord_ = null;
    }
  }
  if (libPublisher != null) {
    libPublisher.SmartPublisherStopPublisher(publisherHandle);
  }
  if (!isRTSPPublisherRunning) {
    if (publisherHandle != 0) {
      if (libPublisher != null) {
        libPublisher.SmartPublisherClose(publisherHandle);
        publisherHandle = 0;
      }
    }
  }
}

RTMP播放：

btnPlaybackStartStopPlayback.setOnClickListener(new Button.OnClickListener() 
        {  
              
            //  @Override  
              public void onClick(View v) {  
                  
                  if(isPlaybackViewStarted)
                  {
                      btnPlaybackStartStopPlayback.setText("开始播放 ");
                  if ( playerHandle != 0 )
                  {
                    libPlayer.SmartPlayerStopPlay(playerHandle);
                    libPlayer.SmartPlayerClose(playerHandle);
                    playerHandle = 0;
                  }
                      isPlaybackViewStarted = false;
                  }
                  else
                  {
                      Log.i(PLAY_TAG, "Start playback stream++");
                      
                      playerHandle = libPlayer.SmartPlayerOpen(curContext);
                      if(playerHandle == 0)
                      {
                          Log.e(PLAY_TAG, "sur faceHandle with nil..");
                          return;
                      }
                  libPlayer.SetSmartPlayerEventCallbackV2(playerHandle,
                      new EventHandePlayerV2());
                  libPlayer.SmartPlayerSetSur face(playerHandle, playerSur faceView);   //if set the second param with null, it means it will playback audio only..
                  libPlayer.SmartPlayerSetRenderScaleMode(playerHandle, 1);
                  libPlayer.SmartPlayerSetExternalAudioOutput(playerHandle, new PlayerExternalPcmOutput());
                  libPlayer.SmartPlayerSetAudioOutputType(playerHandle, 1);
                  libPlayer.SmartPlayerSetBuffer(playerHandle, playbackBuffer);
                  libPlayer.SmartPlayerSetFastStartup(playerHandle, isPlaybackFastStartup?1:0);
                      
                      
                      if ( isPlaybackMute )
                      {
                          libPlayer.SmartPlayerSetMute(playerHandle, isPlaybackMute?1:0);
                      }
                      
                  if (isPlaybackHardwareDecoder) {
                    int isSupportHevcHwDecoder = libPlayer.SetSmartPlayerVideoHevcHWDecoder(playerHandle,1);
                    int isSupportH264HwDecoder = libPlayer
                        .SetSmartPlayerVideoHWDecoder(playerHandle,1);
                    Log.i(TAG, "isSupportH264HwDecoder: " + isSupportH264HwDecoder + ", isSupportHevcHwDecoder: " + isSupportHevcHwDecoder);
                  }
                      libPlayer.SmartPlayerSetAudioVolume(playerHandle, curAudioVolume);
                      libPlayer.SmartPlayerSetUrl(playerHandle, playbackUrl);
                      
                      int iPlaybackRet = libPlayer.SmartPlayerStartPlay(playerHandle);
                                          
                      if( iPlaybackRet != 0 )
                      {
                      libPlayer.SmartPlayerClose(playerHandle);
                      playerHandle = 0;
                             Log.e(PLAY_TAG, "StartPlayback strem failed.."); 
                             return;
                      }
    
                      btnPlaybackStartStopPlayback.setText("停止播放 ");
                                          
                      btnPlaybackPopInputUrl.setEnabled(false);
                      btnPlaybackHardwareDecoder.setEnabled(false);
                      
                      btnPlaybackSetPlayBuffer.setEnabled(false);
                      btnPlaybackFastStartup.setEnabled(false);
                      
                      isPlaybackViewStarted = true;
                      Log.i(PLAY_TAG, "Start playback stream--");
                  }
                }
        });

轻量级RTSP服务+RTSP播放方案

纯内网环境下，两个终端可同时开启轻量级RTSP服务，然后相互拉取对方回调上来的RTSP URL，通过回音消除等，实现智能化场景的一对一音视频互动，不然智能门禁等场景，均可使用，实测延迟毫秒级，不影响互动体验，效果非常好：

对应的代码如下：

//Author: daniusdk.com    
    //启动/停止RTSP服务
    class ButtonRtspServiceListener implements OnClickListener {
        public void onClick(View v) {
            if (isRTSPServiceRunning) {
                stopRtspService();
                btnRtspService.setText("启动RTSP服务");
                btnRtspPublisher.setEnabled(false);
                isRTSPServiceRunning = false;
                return;
            }
            Log.i(TAG, "onClick start rtsp service..");
            rtsp_handle_ = libPublisher.OpenRtspServer(0);
            if (rtsp_handle_ == 0) {
                Log.e(TAG, "创建rtsp server实例失败! 请检查SDK有效性");
            } else {
                int port = 8554;
                if (libPublisher.SetRtspServerPort(rtsp_handle_, port) != 0) {
                    libPublisher.CloseRtspServer(rtsp_handle_);
                    rtsp_handle_ = 0;
                    Log.e(TAG, "创建rtsp server端口失败! 请检查端口是否重复或者端口不在范围内!");
                }
                //String user_name = "admin";
                //String password = "12345";
                //libPublisher.SetRtspServerUserNamePassword(rtsp_handle_, user_name, password);
                if (libPublisher.StartRtspServer(rtsp_handle_, 0) == 0) {
                    Log.i(TAG, "启动rtsp server 成功!");
                } else {
                    libPublisher.CloseRtspServer(rtsp_handle_);
                    rtsp_handle_ = 0;
                    Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");
                }
                btnRtspService.setText("停止RTSP服务");
                btnRtspPublisher.setEnabled(true);
                isRTSPServiceRunning = true;
            }
        }
    }

发布RTSP流：

//发布/停止RTSP流
    class ButtonRtspPublisherListener implements OnClickListener {
        public void onClick(View v) {
            if (isRTSPPublisherRunning) {
                stopRtspPublisher();
                if (!isPushingRtmp) {
                    ConfigControlEnable(true);
                }
                btnRtspPublisher.setText("发布RTSP流");
                btnGetRtspSessionNumbers.setEnabled(false);
                btnRtspService.setEnabled(true);
                isRTSPPublisherRunning = false;
                return;
            }
            Log.i(TAG, "onClick start rtsp publisher..");
            if (!isPushingRtmp) {
                InitPusherAndSetConfig();
            }
            if (publisherHandle == 0) {
                Log.e(TAG, "Start rtsp publisher, publisherHandle is null..");
                return;
            }
            String rtsp_stream_name = "stream1";
            libPublisher.SetRtspStreamName(publisherHandle, rtsp_stream_name);
            libPublisher.ClearRtspStreamServer(publisherHandle);
            libPublisher.AddRtspStreamServer(publisherHandle, rtsp_handle_, 0);
            if (libPublisher.StartRtspStream(publisherHandle, 0) != 0) {
                Log.e(TAG, "调用发布rtsp流接口失败!");
                return;
            }
            if (!isPushingRtmp) {
                if (pushType == 0 || pushType == 1) {
                    CheckInitAudioRecorder();    //enable pure video publisher..
                }
                ConfigControlEnable(false);
            }
            startLayerPostThread();
            btnRtspPublisher.setText("停止RTSP流");
            btnGetRtspSessionNumbers.setEnabled(true);
            btnRtspService.setEnabled(false);
            isRTSPPublisherRunning = true;
        }
    }

获取RTSP流会话链接数：

//当前RTSP会话数弹出框
    private void PopRtspSessionNumberDialog(int session_numbers) {
        final EditText inputUrlTxt = new EditText(this);
        inputUrlTxt.setFocusable(true);
        inputUrlTxt.setEnabled(false);
        String session_numbers_tag = "RTSP服务当前客户会话数: " + session_numbers;
        inputUrlTxt.setText(session_numbers_tag);
        AlertDialog.Builder builderUrl = new AlertDialog.Builder(this);
        builderUrl
                .setTitle("内置RTSP服务")
                .setView(inputUrlTxt).setNegativeButton("确定", null);
        builderUrl.show();
    }
    //获取RTSP会话数
    class ButtonGetRtspSessionNumbersListener implements OnClickListener {
        public void onClick(View v) {
            if (libPublisher != null && rtsp_handle_ != 0) {
                int session_numbers = libPublisher.GetRtspServerClientSessionNumbers(rtsp_handle_);
                Log.i(TAG, "GetRtspSessionNumbers: " + session_numbers);
                PopRtspSessionNumberDialog(session_numbers);
            }
        }
    }

播放RTSP不再赘述，和播放RTMP一样，只是URL类型不一样，需要注意的是，不管走RTMP还是RTSP，都需要开启回音消除。

技术总结

Android平台一对一互动，纯内网环境下，不部署单独的流媒体服务器，走轻量级RTSP服务真的非常方便，如果需要扩展到公网业务，建议可以考虑RTMP，如果有很好的开发能力，也可以考虑WebRTC，具体根据实际场景选择即可。

本文福利， 免费领取C++音视频学习资料包+学习路线大纲、技术视频/代码，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，编解码，推拉流，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

十年编程老舅
关注
  • 22
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
android语音视频通话
08-22
android语音视频通话
WebRTC-Android 探索 - 创建音视频通话程序的基本姿势
yinshipin007的博客
11-27 474
若要在 Android 上实现一个 WebRTC 通话应用，需要通过这五步的工作。WebRTC 中为开发者做了一系列的封装，减轻了开发者开发一个通话应用的压力。本篇文章将通过介绍这五步的实现简单介绍一下基本的使用姿势。准备工作关于信令交换方式及信令服务器，不管是官方还是开源社区会有一大堆的开源项目，可以选择各种例如 WebSocket、XMPP 等方式进行信令通讯以交换相关信息创建连接。具体在此系列文章不进行叙述，可在文章末尾链接下载一整系列的代码（来自公司里我很敬佩的一位前辈）。
rtsp、rtmp 、ffmpeg 、webrtc、流媒体协议
最新发布
xie__jin__cheng的博客
07-25 729
rtsp、rtmp 、ffmpeg 、webrtc、流媒体协议
零基础入门：基于开源WebRTC，从0到1实现实时音视频聊天功能
irainsa的博客
12-13 661
▲ 图片引用自《了不起的WebRTC：生态日趋完善，或将实时音视频技术白菜化》WebRTC（Web Real-Time Communication）是 Google 在 2010 年以 6820 万美元收购 VoIP 软件开发商 Global IP Solutions 的 GIPS 引擎，并改名为“WebRTC”于 2011 年将其开源的旨在建立一个互联网浏览器之间的音视频和数据实时通信的平台。更多WebRTC介绍详见《了不起的WebRTC：生态日趋完善，或将实时音视频技术白菜化》，本文不做赘述。
android WebRtc 视频通话(P2P)
ansondroider的博客
12-01 5720
android端使用WebRTC 实现P2P 语音和视频电话呼叫，无需帐户或访问互联网。 没有发现机制，没有网格化，也没有服务器。
安卓语音通话
weixin_34318956的博客
10-21 405
这段时间在做公司的语音这一块，主要是实现 手机端和pc端的语音通话问题（回音和噪音消除暂时没有考虑）用得是amr得方案。。安卓手机端自带的录音是可以直接录成amr的格式，省去了压缩的功夫。但是播放的时候如果要是直接播amr的话 只能通过文件的方式进行，这就会导致延迟。目前软件是用得安卓自己提供的硬解码方案，没有使用自己的软解码，主要是如果软解码的话程序cpu占用率会很高。录音...
android视频通话ndk,Android基于SDK，NDK开发视频通话软件探索
weixin_29695125的博客
05-27 387
通用的视频通话的框架分为信令和媒体两部分，在android2.3已经有了nist－sip，因此信令部分并不是大问题。但是媒体部分就麻烦了，一般视频通话包括视频，音频两个流，下面的草图大概说明了流程：＋－－－－＋采集－》编码－》网络传输－》 ＋－网络－＋－》网络接收－》解码－》显示 ：视频录音－》编码－》网络传输－》 ＋－网络－＋－》网络接收－》解码－》播放...
Android 视频通话
meixi_android的博客
08-07 902
基于腾讯云视频SDK 实现效果 实现步骤： 1、登录腾讯云开发者平台 https://cloud.tencent.com/product/trtc 2、进入 实时音视频 主页。并创建应用 3、进入开发辅助主页，创建uid 4、配置uid和uToken即可，配置APPID 实现demo：https:...
Android 视频通话（一）
zsg592713711的博客
06-03 3491
最近再弄实时视频通话方面，参考了很多资料，自己写了个demo，供大家参考，毕竟网上的资料也不多 先介绍视频的传输，通过H264编码，rtp协议进行传输，后面后github下载地址 一 流程： 1、通过Camera的回调函数，得到实时视频流 2、将得到的视频流通过H264编码 3、将H264编码后的数据打包成rtp包，并发送给对方 4、对方接...
Android设备实现语音视频通话
倔强的蜗牛
08-03 3752
android使用p2p实现语音视频通话
微信小程序 RTMP 音视频 通话 ffmpeg_WebRTC与微信小程序音视频互通方案设计与实现...
weixin_39960793的博客
11-21 2373
背景在之前的WebRTC实时音视频通话之语音通话设计与实践中介绍了58 TEG部门基于 WebRTC 的实时音视频通话解决方案。考虑到腾讯微信的小程序平台提供了音视频通话与直播的支持，如果能打通基于 WebRTC 的实时音视频通话与微信小程序，就能够极大地扩展音视频直播的能力范围，为业务线的产品和服务提供更多更好的选择。本文主要介绍打通 WebRTC 端和微信小程序端的音视频互通方案，实现在尽量不...
Android 语音视频通话功能
04-19
安卓手机上实现了语音视频通话功能，可供语音视频开发者参考学习
Android 视频通话demo
08-07
这个demo是基于腾讯云视频SDK实现的Android视频通话demo
Android语音及视频通话例子
07-26
sipdroid语音及视频通话实例源码，为Android客户端而开发，以前写过Java的应该对此代码很熟悉，这个开源项目在国外也是受到认可的，很多视频通话应用也是在此基础上扩展修改而来，你可借鉴本源码实例包。
在安卓平台下调用API接口实现音视频通话
03-07
作为独立开发者或想缩短音视频开发周期的公司来说，想要在Android平台下实现音视频通信，最快捷的方法是寻找开源项目或调用其他公司API。之所以这么说是因为音视频通信技术涉及到底层音视频采集、解码、 FFmpeg（音视频处理解决方案）、媒体流传输协议等太多太多相关技术知识点。
Android WebRTC 实现1V1实时音视频通信
06-17
本课程讲述如何使用OC 实现1V1 Android端实时音视频通信包括如何使用nodejs开发WebSocket信令服务器理解WebRTC媒体的交互流程coturn服务器搭建Android音视频客户端开发
如何设计一个RTMP-RTSP-WebRTC流媒体服务器.png
12-17
如何设计一个RTMP-RTSP-WebRTC流媒体服务器.png
实时音视频入门学习：开源工程WebRTC的技术原理和使用浅析
yinshipin007的博客
04-29 1420
1、基本介绍 WebRTC（全称 Web Real-Time Communication），即网页即时通信。 是一个支持网页浏览器进行实时语音对话或视频对话的技术方案。从前端技术开发的视角来看，是一组可调用的API标准。 在WebRTC发布之前，开发实时音视频交互应用的成本是非常昂贵，需要考虑的技术问题很多，如音视频的编解码问题，数据传输问题，延时、丢包、抖动、回音的处理和消除等，如果要兼容浏览器端的实时音视频通信，还需要额外安装插件。2010年5月：Google以6820万美元收购VoIP软件开发
RTSP和RTMP协议有什么区别？RTSP为什么常用于安防监控摄像头行业，而视频直播却只使用RTMP推流？
eguid音视频技术分享（JavaCV教程、FFmpeg教程、openCV图像处理教程、音视频教程）
01-24 1070
RTMP（Real-Time Messaging Protocol）是一种用于音视频流传输的协议。它最初由Adobe开发，用于在Flash播放器和服务器之间传输实时音视频数据。RTMP通过建立TCP连接来传输音视频数据，具有低延迟和高效率的特点。RTMP协议可以支持实时的音视频直播和点播，可以在实时传输过程中实现音视频的编码、解码、压缩和传输。它能够自适应网络带宽，根据网络情况动态调整音视频数据的传输速率，以保证流媒体传输的稳定性和流畅性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值