android硬编码h264数据，并使用rtp推送数据流，实现一个简单的直播-MediaCodec（二）

最新推荐文章于 2021-05-29 05:02:03 发布
最新推荐文章于 2021-05-29 05:02:03 发布
阅读量628 收藏 2
点赞数
原文链接：https://blog.csdn.net/xmc281141947/article/details/76587847?utm_medium=distribute.pc_category.none-task-blog-new-1.nonecase&depth_1-utm_source=distribute.pc_category.none-task-blog-new-1.nonecase
版权

上篇博客是使用MediaCodec编码摄像头预览数据成h264数据，并用rtp发送实时数据流。这篇博客是接收h264数据流MediaCodec解码并显示。

先上代码的结构图：

这里写图片描述

eclipse的工程，接收端比较简单只有两个类

直接上解码部分的代码：

public class ClientTextureView extends TextureView implements  TextureView.SurfaceTextureListener{

    private static  final String MIME_TYPE = "video/avc";
    private static final String TAG = "ClientTextureView" ;
    private MediaCodec decode;

    byte[] rtpData =  new byte[80000];
    byte[] h264Data = new byte[80000];

    int timestamp = 0;

    DatagramSocket socket;

    public ClientTextureView(Context context, AttributeSet attrs) {
        super(context, attrs);
        setSurfaceTextureListener(this);
        try {
            socket = new DatagramSocket(5004);//端口号
            socket.setReuseAddress(true);
            socket.setBroadcast(true);
        } catch (SocketException e) {
            e.printStackTrace();
        }
    }

    @Override
    public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
        new PreviewThread(new Surface(surface),800,480);//手机的分辨率
    }

    @Override
    public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) {

    }

    @Override
    public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) {
        if (socket != null){
            socket.close();
            socket = null;
        }
        return false;
    }

    @Override
    public void onSurfaceTextureUpdated(SurfaceTexture surface) {

    }

    private  class  PreviewThread extends  Thread {
        DatagramPacket datagramPacket = null;
        public PreviewThread(Surface surface, int width , int height){
            Log.e(TAG, "PreviewThread: gou zhao");
            decode = MediaCodec.createDecoderByType(MIME_TYPE);

            final MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE,width,height);
            format.setInteger(MediaFormat.KEY_BIT_RATE,  40000);
            format.setInteger(MediaFormat.KEY_FRAME_RATE, 20);
            format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);

            byte[] header_sps = {0, 0, 0, 1, 103, 66, 0 , 41, -115, -115, 64, 80 , 30 , -48 , 15 ,8,-124, 83, -128};

            byte[] header_pps = {0,0 ,0, 1, 104, -54, 67, -56};

            format.setByteBuffer("csd-0", ByteBuffer.wrap(header_sps));
            format.setByteBuffer("csd-1", ByteBuffer.wrap(header_pps));

            decode.configure(format,surface,null,0);
            decode.start();
            start();
        }


        @Override
        public void run() {
            byte[] data = new byte[80000];
            int h264Length = 0;
            while (true){
                if (socket != null){
                    try {
                        datagramPacket = new DatagramPacket(data,data.length);
                        socket.receive(datagramPacket);//接收数据
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
                rtpData =  datagramPacket.getData();
                if (rtpData != null ){
                    if (rtpData[0] == -128 && rtpData[1] == 96){
                        Log.e(TAG, "run:xxx");
                        int l1 = (rtpData[12]<<24)& 0xff000000;
                        int l2 = (rtpData[13]<<16)& 0x00ff0000;
                        int l3 = (rtpData[14]<<8) & 0x0000ff00;
                        int l4 = rtpData[15]&0x000000FF;
                        h264Length = l1+l2+l3+l4;
                        Log.e(TAG, "run: h264Length="+h264Length);
                        System.arraycopy(rtpData,16, h264Data,0,h264Length);
                        Log.e(TAG, "run:h264Data[0]="+h264Data[0]+","+h264Data[1]+","+h264Data[2]+","+h264Data[3]
                                +","+h264Data[4]+","+h264Data[5]+","+h264Data[6]+","+h264Data[7]
                                +","+h264Data[8]+","+h264Data[9]+","+h264Data[10]
                                +","+h264Data[11]+","+h264Data[12]+","+h264Data[13]
                                +","+h264Data[14]+","+h264Data[15]+","+h264Data[16]
                                +","+h264Data[17]+","+h264Data[18]+","+h264Data[19]
                                +","+h264Data[20]+","+h264Data[21]+","+h264Data[22]);//打印sps、pps
                        offerDecoder(h264Data,h264Data.length);
                        Log.e(TAG, "run: offerDecoder=");
                    }
                }
            }
        }
    }

    //解码h264数据
    private void offerDecoder(byte[] input, int length) {
         Log.d(TAG, "offerDecoder: ");
        try {
            ByteBuffer[] inputBuffers = decode.getInputBuffers();
            int inputBufferIndex = decode.dequeueInputBuffer(0);
            if (inputBufferIndex >= 0) {
                ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
                inputBuffer.clear();
                try{
                    inputBuffer.put(input, 0, length);
                }catch (Exception e){
                    e.printStackTrace();
                }
                decode.queueInputBuffer(inputBufferIndex, 0, length, 0, 0);
            }
            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();

            int outputBufferIndex = decode.dequeueOutputBuffer(bufferInfo, 0);
            while (outputBufferIndex >= 0) {
                //If a valid surface was specified when configuring the codec,
                //passing true renders this output buffer to the surface.
                decode.releaseOutputBuffer(outputBufferIndex, true);
                outputBufferIndex = decode.dequeueOutputBuffer(bufferInfo, 0);
            }
        } catch (Throwable t) {
            t.printStackTrace();
        }
    }
}

  • public class ClientTextureView extends TextureView implements  TextureView.SurfaceTextureListener{

        private static  final String MIME_TYPE = "video/avc";
        private static final String TAG = "ClientTextureView" ;
        private MediaCodec decode;

        byte[] rtpData =  new byte[80000];
        byte[] h264Data = new byte[80000];

        int timestamp = 0;

        DatagramSocket socket;

        public ClientTextureView(Context context, AttributeSet attrs) {
            super(context, attrs);
            setSurfaceTextureListener(this);
            try {
                socket = new DatagramSocket(5004);//端口号
                socket.setReuseAddress(true);
                socket.setBroadcast(true);
            } catch (SocketException e) {
                e.printStackTrace();
            }
        }

        @Override
        public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
            new PreviewThread(new Surface(surface),800,480);//手机的分辨率
        }

        @Override
        public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) {

        }

        @Override
        public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) {
            if (socket != null){
                socket.close();
                socket = null;
            }
            return false;
        }

        @Override
        public void onSurfaceTextureUpdated(SurfaceTexture surface) {

        }

        private  class  PreviewThread extends  Thread {
            DatagramPacket datagramPacket = null;
            public PreviewThread(Surface surface, int width , int height){
                Log.e(TAG, "PreviewThread: gou zhao");
                decode = MediaCodec.createDecoderByType(MIME_TYPE);

                final MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE,width,height);
                format.setInteger(MediaFormat.KEY_BIT_RATE,  40000);
                format.setInteger(MediaFormat.KEY_FRAME_RATE, 20);
                format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);

                byte[] header_sps = {0, 0, 0, 1, 103, 66, 0 , 41, -115, -115, 64, 80 , 30 , -48 , 15 ,8,-124, 83, -128};

                byte[] header_pps = {0,0 ,0, 1, 104, -54, 67, -56};

                format.setByteBuffer("csd-0", ByteBuffer.wrap(header_sps));
                format.setByteBuffer("csd-1", ByteBuffer.wrap(header_pps));

                decode.configure(format,surface,null,0);
                decode.start();
                start();
            }


            @Override
            public void run() {
                byte[] data = new byte[80000];
                int h264Length = 0;
                while (true){
                    if (socket != null){
                        try {
                            datagramPacket = new DatagramPacket(data,data.length);
                            socket.receive(datagramPacket);//接收数据
                        } catch (IOException e) {
                            e.printStackTrace();
                        }
                    }
                    rtpData =  datagramPacket.getData();
                    if (rtpData != null ){
                        if (rtpData[0] == -128 && rtpData[1] == 96){
                            Log.e(TAG, "run:xxx");
                            int l1 = (rtpData[12]<<24)& 0xff000000;
                            int l2 = (rtpData[13]<<16)& 0x00ff0000;
                            int l3 = (rtpData[14]<<8) & 0x0000ff00;
                            int l4 = rtpData[15]&0x000000FF;
                            h264Length = l1+l2+l3+l4;
                            Log.e(TAG, "run: h264Length="+h264Length);
                            System.arraycopy(rtpData,16, h264Data,0,h264Length);
                            Log.e(TAG, "run:h264Data[0]="+h264Data[0]+","+h264Data[1]+","+h264Data[2]+","+h264Data[3]
                                    +","+h264Data[4]+","+h264Data[5]+","+h264Data[6]+","+h264Data[7]
                                    +","+h264Data[8]+","+h264Data[9]+","+h264Data[10]
                                    +","+h264Data[11]+","+h264Data[12]+","+h264Data[13]
                                    +","+h264Data[14]+","+h264Data[15]+","+h264Data[16]
                                    +","+h264Data[17]+","+h264Data[18]+","+h264Data[19]
                                    +","+h264Data[20]+","+h264Data[21]+","+h264Data[22]);//打印sps、pps
                            offerDecoder(h264Data,h264Data.length);
                            Log.e(TAG, "run: offerDecoder=");
                        }
                    }
                }
            }
        }

        //解码h264数据
        private void offerDecoder(byte[] input, int length) {
             Log.d(TAG, "offerDecoder: ");
            try {
                ByteBuffer[] inputBuffers = decode.getInputBuffers();
                int inputBufferIndex = decode.dequeueInputBuffer(0);
                if (inputBufferIndex >= 0) {
                    ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
                    inputBuffer.clear();
                    try{
                        inputBuffer.put(input, 0, length);
                    }catch (Exception e){
                        e.printStackTrace();
                    }
                    decode.queueInputBuffer(inputBufferIndex, 0, length, 0, 0);
                }
                MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();

                int outputBufferIndex = decode.dequeueOutputBuffer(bufferInfo, 0);
                while (outputBufferIndex >= 0) {
                    //If a valid surface was specified when configuring the codec,
                    //passing true renders this output buffer to the surface.
                    decode.releaseOutputBuffer(outputBufferIndex, true);
                    outputBufferIndex = decode.dequeueOutputBuffer(bufferInfo, 0);
                }
            } catch (Throwable t) {
                t.printStackTrace();
            }
        }
    }

MainActivity的代码：

public class MainActivity extends Activity {

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
    }
}

  • public class MainActivity extends Activity {

        @Override
        protected void onCreate(Bundle savedInstanceState) {
            super.onCreate(savedInstanceState);
            setContentView(R.layout.activity_main);
        }
    }

源码已经放到GitHub，地址：https://github.com/xmc1715499699/MediaCodec_rtp_receive，欢迎下载star。

猴猴猴赛雷
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于socket实现的android实时投屏（涉及H264、265编解码）
05-13
基于socket实现的android实时投屏（涉及H264、265编解码）
Android采集视频用H264编码以RTMP协议发送到FMS服务器IVideoChat
04-02
Android采集视频用H264编码以RTMP协议发送到FMS服务器IVideoChat
android硬编码h264数据，并使用rtp推送数据流，实现一个简单的直播-MediaCodec（一）
热门推荐
xmc281141947的博客
07-28 1万+
写在前面：我并非专业做流媒体的coder，对流媒体行业无比崇拜，只是做了几年安卓车载ROM，对安卓AV开发算是略懂。本篇博客是我对MediaCodec编解码和rtp推流的一次尝试，希望能给有需要的朋友一些细微的帮助，不喜勿喷，如果有不对的地方希望大神指正共同进步，拜谢。  公司近期有意向做直播方面业务，叫我先测试下安卓MediaCodec硬解码并推送实时数据流。由于之前做过USB摄像头用到过Medi
H264关于RTP协议的实现
zhangfulin_hwatop的专栏
11-13 664
H264关于RTP协议的实现 对于H．264视频的实时传输应用来说，TCP的重传机制引入的时延和抖动是无法容忍的，因此我们采用UDP传输协议。但是UDP协议本身是面向无连接的，不能提供质量保证。而基于UDP之上的高层协议RTP／RTCP可以一起提供流量控制和拥塞控制服务。 TAG: H264  RTP  RFC3984   完整的C／S架构的基于RTP
android开发 h264传输,通过rtp流发送Android h264捕获
weixin_36230541的博客
05-26 458
我正在为Android写一个rtp视频流,它从Android本地套接字读取h264编码数据并将其打包.问题是我做到了但是我一直在客户端获得黑框(Voip).沟通如下：Android – >星号 – > Jitsi(Osx)(和反向)还有一些我还没有理解的东西：1)Android的mediarecorder给了我一个原始的h264流,我怎么知道NAL何时基于该流开始/结束？它没有任何0...
简单的RTSP, RTP, RTCP推送H264码流服务器实现
12-10
简单实现RTSP, RTP, RTCP收发功能，可用于基础入门的学习研究。由于只是闲时兴趣随意花2星期凑出实现，代码及功能并非完善，只是能够多路VLC及MPLAYER作为客户端同时播放。
wireshark从RTP包中提取出H264裸流数据脚本
10-24
wireshark从RTP包中提取出H264裸流数据脚本 wireshark RTP H264 H265
H264裸数据打包RTP方法和实验.pdf
06-28
主要讲了H264数据格式，RTP数据格式，以及如何将H264的NALU打包为RTP。 本文的实验在VLC播放器进行了验证，能够将本地文件推送到VLC进行顺利播放。
h264编码文件，264文件可用于推流测试
08-28
附件为h264编码文件，264文件可用于推流测试,live555等推送rtp流测试使用，制作rtsp服务等测试文件
MediaCodec_rtp_send_demo
04-17
音频发送 通过rtp协议 发送数据 内涵最新的rtp协议包 已经发送的demo 接收端上次已经上次过可以关注后自行查找 有什么不懂得留言 有时间答复
MediaCodec_rtp_receive
04-17
音频文件通过tp协议接受端 包括最新的rtp协议 发送端demo 下次上次
android直播Rtmp推流和取流
09-15
android rtmp直播，从推流到取流，从android显示到pc端显示，再到android端显示 代码虽然很粗糙但是大部分都有现成的代码
利用FFmpeg实现简单rtp推流
09-19
利用FFmpeg实现rtp推流.重点为时间戳转换.
android studio 通过 rtp 发送和接收demo
04-17
android studio 通过 rtp 发送和接收demo 主要是将官网中的jlibrtp 0.2.2协议包含的例子引用到工程中 demo中采用局域网广播的形式来发送数据 指定的ip需要自己去尝试
基于H264、AAC的rtp媒体流数据合成mp4文件
06-25
接收RTP数据，获取h264视频和 acc音频流，并封装为MP4文件。
sdl android rtp h264,使用RTP协议发送和接收H264的例子(支持解码、播放)
weixin_32666933的博客
05-29 289
【实例简介】MFC实现的窗口程序，集成了发送和接收RTP包的功能，接收到的视频用FFmpeg解码并显示出来。该例子代码对应我博客上的一篇文章：https://blog.csdn.net/zhoubotong2012/article/details/86510032【实例截图】【核心代码】PlayH264└── PlayH264├── class│ ├── DirectDraw│ │ ├...
sdl android rtp h264,H264-YUV通过RTP接收视频流ffmpeg解码SDL实时播放
weixin_42397024的博客
05-29 313
写在前面的话写一个简单的播放器，通过RTP接收视频流，进行实时播放。最初，使用ffplay或者vlc接收按照SDP协议文件可以播放视频，但是视频中断后重启，不能正确的解包，时常会出现如下的错误信息。[sdp @ 0x7ffb35034e00] RTP: dropping old packet received too lateLast message repeated 15 times使用ffpl...
Android视频采集实时推送RTP/RTSP/RTMP
清晨有微风的博客
07-16 3902
因为在工作中，接触到了视频相关的开发工作；同时，大多数android处理音视频多半都是有C++工程师提供处理库，所以，在这里记录一下我自己在工作中遇到的问题。 主要功能： 采集Android摄像头数据，实时编码H264，发送至指定地址（RTP/RTSP/RTMP等等，还有很多其他封装格式，可自行研究）。 本文使用了javacv来处理音视频数据，javacv是一套java封装的jni库，可以适...
修改Android HWComposer的代码把屏幕数据通过MediaCode API编码成H264后通过RTP发送出去的代码
最新发布
05-27
以下是一个简单的示例代码，用于修改Android HWComposer的代码把屏幕数据通过MediaCodec API编码成H264后通过RTP发送出去： ```java // 在HWCNativeWindow类中添加以下代码 private MediaCodec encoder; private ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值