webRTC 读取帧保存为bitmap

1.在onFrame方法中传入frame​​​​​​

public void onFrame(VideoFrame frame) {
    saveImgBitmap(frame);
}

2.saveImgBitmap的实现

将frame转换为bitmap

    public Bitmap saveImgBitmap(VideoFrame frame){
        final Matrix drawMatrix = new Matrix();
        // Used for bitmap capturing.
        final GlTextureFrameBuffer bitmapTextureFramebuffer =
                new GlTextureFrameBuffer(GLES20.GL_RGBA);
        drawMatrix.reset();
        drawMatrix.preTranslate(0.5f, 0.5f);
        //控制图片的方向
        drawMatrix.preScale( -1f ,  -1f);
        drawMatrix.preScale(-1f, 1f); // We want the output to be upside down for Bitmap.
        drawMatrix.preTranslate(-0.5f, -0.5f);
        
        final int scaledWidth = (int) (1 * frame.getRotatedWidth());
        final int scaledHeight = (int) (1 * frame.getRotatedHeight());
        bitmapTextureFramebuffer.setSize(scaledWidth, scaledHeight);

        GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, bitmapTextureFramebuffer.getFrameBufferId());
        GLES20.glFramebufferTexture2D(GLES20.GL_FRAMEBUFFER, GLES20.GL_COLOR_ATTACHMENT0,
                GLES20.GL_TEXTURE_2D, bitmapTextureFramebuffer.getTextureId(), 0);

        GLES20.glClearColor(0 /* red */, 0 /* green */, 0 /* blue */, 0 /* alpha */);
        GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT);
        VideoFrameDrawer frameDrawer = new VideoFrameDrawer();
        RendererCommon.GlDrawer drawer = new GlRectDrawer();
        frameDrawer.drawFrame(frame, drawer, drawMatrix, 0 /* viewportX */,
                0 /* viewportY */, scaledWidth, scaledHeight);

        final ByteBuffer bitmapBuffer = ByteBuffer.allocateDirect(scaledWidth * scaledHeight * 4);
        GLES20.glViewport(0, 0, scaledWidth, scaledHeight);
        GLES20.glReadPixels(
                0, 0, scaledWidth, scaledHeight, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, bitmapBuffer);

        GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, 0);
        GlUtil.checkNoGLES2Error("EglRenderer.notifyCallbacks");

        final Bitmap bitmap = Bitmap.createBitmap(scaledWidth, scaledHeight, Bitmap.Config.ARGB_8888);
        bitmap.copyPixelsFromBuffer(bitmapBuffer);

        try {
            File file = new File("/data/data/com.xxx.diagnose/files"+ "/test.jpg");
            if (!file.exists()){
                file.createNewFile();
            }
            OutputStream outputStream=new FileOutputStream(file);
            bitmap.compress(Bitmap.CompressFormat.JPEG,100,outputStream);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return bitmap;
    }

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
WebRTC中为视频添加元数据信息可以通过以下步骤实现: 1. 使用getUserMedia()方法获取视频流。 2. 将视频流添加到RTCPeerConnection中。 3. 使用Canvas绘制视频,并在Canvas上添加元数据信息。例如,在Canvas上使用JavaScript代码添加文本或图像等信息。 4. 使用Canvas的toDataURL()方法将Canvas中的内容转换为Base64编码的图像数据。 5. 将Base64编码的图像数据作为元数据添加到视频中。可以使用WebRTC的RTCRtpSender对象的send()方法将视频发送到远端。 以下是示例代码: ```javascript // 获取视频流 navigator.mediaDevices.getUserMedia({ video: true }) .then(function(stream) { // 将视频流添加到RTCPeerConnection中 var pc = new RTCPeerConnection(); pc.addStream(stream); // 获取视频轨道 var videoTrack = stream.getVideoTracks()[0]; // 创建Canvas元素 var canvas = document.createElement('canvas'); var ctx = canvas.getContext('2d'); // 监听视频轨道的onended事件 videoTrack.onended = function() { pc.close(); }; // 监听视频轨道的onactive事件 videoTrack.onactive = function() { // 每隔一段时间处理一视频 setInterval(function() { // 绘制视频到Canvas上 ctx.drawImage(video, 0, 0, canvas.width, canvas.height); // 在Canvas上添加元数据信息 ctx.fillText('This is a test', 10, 10); // 将Canvas中的内容转换为Base64编码的图像数据 var imageData = canvas.toDataURL('image/png'); // 将元数据信息添加到视频中 var frame = new VideoFrame(videoTrack, { width: canvas.width, height: canvas.height, timestamp: performance.now(), data: { metadata: imageData } }); // 将视频发送到远端 var sender = pc.getSenders().find(function(s) { return s.track === videoTrack; }); sender.send(frame); }, 1000 / 30); // 每秒30 }; }) .catch(function(error) { console.error(error); }); ``` 上述代码仅供参考,具体实现方式可能因应用场景而异。另外,需要注意的是,添加元数据信息可能会增加视频的大小,从而影响视频传输的性能。因此,需要根据实际情况进行优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiaowang_lj

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值