Android TRTC实时音视频推 RTSP视频流方法

最新推荐文章于 2024-08-20 16:20:51 发布

咸鱼红Jun

最新推荐文章于 2024-08-20 16:20:51 发布

阅读量2.6k

点赞数 1

分类专栏： Android疑难杂症文章标签：音视频 android java

本文链接：https://blog.csdn.net/oXuXiaoWu/article/details/122042862

版权

Android疑难杂症专栏收录该内容

8 篇文章 1 订阅

订阅专栏

前言

近期有个Android任务：项目中原本集成了TRTC腾讯云实时音视频SDK，要是有过了解的朋友应该就知道，加入房间后，默认是采用手机的前后摄像头进行视频数据采集，并推流。如今的任务是需要将特定外接摄像头采集的视频也集成到房间中，而外接摄像头采集的是rtsp数据视频流。于是就有了今天的话题blog。

总体思路

1.既然要在TRTC 中推自己的数据流，那么肯定要按照TRTC中的数据格式去传输视频数据。从TRTC SDK中可以查到，我们可以自定义采集视频数据。并通过sendCustomVideoData（）方法进行数据传输。具体可以去查SDK文档，写的挺详细的，这里就不赘述了.附截图。sendCustomVideoData（）中有两种数据传输方案，按需设置即可。

2.数据格式解决了，那就需要看数据来源了。一般外接摄像头采集视频数据后都是rtsp流形式。那么关键问题就是如何获取到rtsp流数据，并转换为TRTC所需要的视频传输格式。

正文

既然需要获取rtsp流数据并进行转换。那么如何获取rtsp流中的原数据呢？

小编这里提供一些可行的方法：1.FFMPEG 2.OPENCV 3.JAVACV

以上三种方法都是可行的，小编这里使用的是JAVACV，主要是方便集成。

1.JAVACV集成

1.1 build.gradle添加依赖

    //JavaCV
    def javacvVersion = '1.4.2'
    def ffmpegVersion = '4.0.1'
    def opencvVersion = '3.4.2'
    implementation(group: 'org.bytedeco', name: 'javacv-platform', version: javacvVersion) {
        exclude group: 'org.bytedeco.javacpp-presets'
    }
    implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}"
    implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}", classifier: 'android-arm' // for 'armeabi-v7a'
    implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}", classifier: 'android-arm64' // for 'arm64-v8a'
    implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}"
    implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}", classifier: 'android-arm' // for 'armeabi-v7a'
    implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}", classifier: 'android-arm64' // for 'arm64-v8a'

2.根据根据rtsp获取帧数据

            FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(url);
            grabber.setOption("rtsp_transport", "tcp"); 
            grabber.setImageWidth(hotWidth);
            grabber.setImageHeight(hotHeight);
            grabber.setPixelFormat(AV_PIX_FMT_RGBA);
            System.out.println("grabber start");
            grabber.start();
            AndroidFrameConverter converter = new AndroidFrameConverter();
            while (HotRunning) {
                Frame frame = grabber.grabImage();
                final Bitmap bmp = converter.convert(frame);
            }

其中url就是rtsp地址.例如：rtsp://192.168.2.199:8554/stream1

最后frame就是得到的帧数据,我们将其转换为bitmap,就可以直接显示出来了。

2.数据转换

根据TRTC SDK数据格式要求，我们需要将bitmap转换成YUV格式数据,小编这里是将bitmap转换成NV21格式的数据。

    public byte[] getNV21(int inputWidth, int inputHeight, Bitmap scaled) {

        int[] argb = new int[inputWidth * inputHeight];

        scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);

        byte[] yuv = new byte[inputWidth * inputHeight * 3 / 2];
        encodeYUV420SP(yuv, argb, inputWidth, inputHeight);

        //scaled.recycle();

        return yuv;
    }


    public static void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {
        final int frameSize = width * height;

        int yIndex = 0;
        int uvIndex = frameSize;

        int a, R, G, B, Y, U, V;
        int index = 0;
        for (int j = 0; j < height; j++) {
            for (int i = 0; i < width; i++) {

                a = (argb[index] & 0xff000000) >> 24; // a is not used obviously
                R = (argb[index] & 0xff0000) >> 16;
                G = (argb[index] & 0xff00) >> 8;
                B = (argb[index] & 0xff) >> 0;

                Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;
                U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;
                V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;

                yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
                if (j % 2 == 0 && index % 2 == 0) {
                    yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));
                    yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));
                }

                index ++;
            }
        }
    }

3.数据推流

通过getNV21（）方法将数据转换好之后，最后再填入sendCustomVideoData（）方法中即可。

TRTCCloudDef.TRTCVideoFrame videoFrame = new TRTCCloudDef.TRTCVideoFrame();
                    //videoFrame.pixelFormat = TRTCCloudDef.TRTC_VIDEO_PIXEL_FORMAT_I420;
                    videoFrame.pixelFormat = TRTCCloudDef.TRTC_VIDEO_PIXEL_FORMAT_NV21;
                    videoFrame.bufferType = TRTCCloudDef.TRTC_VIDEO_BUFFER_TYPE_BYTE_ARRAY;
                    videoFrame.data = sendData;
                    videoFrame.width = hotWidth;
                    videoFrame.height = hotHeight;
                    videoFrame.timestamp = 0;
                    mTRTCCloud.sendCustomVideoData(TRTCCloudDef.TRTC_VIDEO_STREAM_TYPE_BIG,videoFrame);