android平台下基于ffmpeg采集Camera数据编码成H.264推流到RTMP服务器

最新推荐文章于 2024-06-21 13:42:32 发布
置顶 最新推荐文章于 2024-06-21 13:42:32 发布
阅读量3.4k 收藏 8
点赞数 3
分类专栏： 音视频开发实践 文章标签： android ndk camera h264 ffmpeg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/byhook/article/details/84640123
版权
Android开发 同时被 3 个专栏收录
89 篇文章 1 订阅
订阅专栏
NDK编程
32 篇文章 3 订阅
订阅专栏
C/C++
28 篇文章 0 订阅
订阅专栏

音视频实践学习

概述

直播中推流和拉流是最核心的两个功能，之前的一篇博客记录过关于推流本地的mp4文件到推流服务器，而本节内容主要记录从相机采集数据到编码H264格式，最后通过RTMP推流出去的一个过程，为了从简单入手，本节内容暂不涉及音频的编码操作。

环境配置

操作系统：ubuntu 16.05
ndk版本：android-ndk-r16b
ffmpeg版本：ffmpeg-3.3.8

流程分析

开始实践

android相机采集的数据默认是NV21格式的，并且前置摄像头都是需要旋转270度。StartPublish主要完成一些初始化工作，并且标记transform=true，此时相机的数据才会交由EncodeBuffer来处理，完成编码H264数据并推送出去。

void H264Publisher::StartPublish() {

    //1.注册所有组件
    av_register_all();
    //2.初始化网络
    avformat_network_init();

    //3.初始化输出码流的AVFormatContext
    avformat_alloc_output_context2(&out_fmt, NULL, "flv", outputPath);
    //4.查找H.264编码器
    pCodec = avcodec_find_encoder(AV_CODEC_ID_H264);
    if (!pCodec) {
        LOGE("avcodec not found!");
        return;
    }
    //5.分配编码器并设置参数
    pCodecCtx = avcodec_alloc_context3(pCodec);
    //编码器的ID,这里是H264编码器
    pCodecCtx->codec_id = pCodec->id;
    //编码器编码的数据类型
    pCodecCtx->codec_type = AVMEDIA_TYPE_VIDEO;
    //像素的格式
    pCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P;
    //前置摄像头需要旋转270度,宽和高要互换
    pCodecCtx->width = height;
    pCodecCtx->height = width;
    pCodecCtx->framerate = (AVRational) {fps, 1};
    pCodecCtx->time_base = (AVRational) {1, fps};
    pCodecCtx->gop_size = 50;
    pCodecCtx->max_b_frames = 0;
    pCodecCtx->qmin = 10;
    pCodecCtx->qmax = 50;
    pCodecCtx->bit_rate = 100 * 1024 * 8;
    pCodecCtx->level = 41;
    pCodecCtx->refs = 1;
    pCodecCtx->qcompress = 0.6;

    if (out_fmt->oformat->flags & AVFMT_GLOBALHEADER) {
        pCodecCtx->flags |= CODEC_FLAG_GLOBAL_HEADER;
    }

    //H.264
    AVDictionary *opts = NULL;
    if (pCodecCtx->codec_id == AV_CODEC_ID_H264) {
        av_dict_set(&opts, "preset", "superfast", 0);
        av_dict_set(&opts, "tune", "zerolatency", 0);
    }
    //6.打开编码器
    int result = avcodec_open2(pCodecCtx, pCodec, &opts);
    if (result < 0) {
        LOGE("open encoder failed %d", result);
        return;
    }

    //7.创建一个输出流
    pStream = avformat_new_stream(out_fmt, pCodec);
    if (!pStream) {
        LOGE("Failed allocating output outputPath");
        return;
    }
    pStream->time_base.num = 1;
    pStream->time_base.den = fps;
    pStream->codecpar->codec_tag = 0;
    if (avcodec_parameters_from_context(pStream->codecpar, pCodecCtx) < 0) {
        LOGE("Failed av codec parameters_from_context");
        return;
    }

    //8.打开网络输出流
    if (avio_open(&out_fmt->pb, outputPath, AVIO_FLAG_READ_WRITE) < 0) {
        LOGE("Failed to open output file!\n");
        return;
    }
    //9.写文件头部
    result = avformat_write_header(out_fmt, NULL);
    if (result < 0) {
        LOGE("Error occurred when opening output URL %d", result);
        return;
    }

    //初始化帧
    pFrame = av_frame_alloc();
    pFrame->width = pCodecCtx->width;
    pFrame->height = pCodecCtx->height;
    pFrame->format = pCodecCtx->pix_fmt;
    int bufferSize = av_image_get_buffer_size(pCodecCtx->pix_fmt, pCodecCtx->width,
                                              pCodecCtx->height, 1);
    pFrameBuffer = (uint8_t *) av_malloc(bufferSize);
    av_image_fill_arrays(pFrame->data, pFrame->linesize, pFrameBuffer, pCodecCtx->pix_fmt,
                         pCodecCtx->width, pCodecCtx->height, 1);

    //创建已编码帧
    av_new_packet(&avPacket, bufferSize * 3);

    //标记正在转换
    this->transform = true;
}

接着就是核心的编码函数：

int H264Publisher::EncodeFrame(AVCodecContext *pCodecCtx, AVFrame *pFrame, AVPacket *avPacket) {
    int ret = avcodec_send_frame(pCodecCtx, pFrame);
    if (ret < 0) {
        //failed to send frame for encoding
        return -1;
    }
    while (!ret) {
        ret = avcodec_receive_packet(pCodecCtx, avPacket);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            return 0;
        } else if (ret < 0) {
            //error during encoding
            return -1;
        }

        //AVFrame PTS
        pFrame->pts = index;

        //编码数据
        avPacket->stream_index = pStream->index;
        AVRational time_base = out_fmt->streams[0]->time_base;//{ 1, 1000 };
        avPacket->pts = index * (pStream->time_base.den) / ((pStream->time_base.num) * fps);
        avPacket->dts = avPacket->pts;
        avPacket->duration = (pStream->time_base.den) / ((pStream->time_base.num) * fps);
        LOGI("Send frame index:%d,pts:%lld,dts:%lld,duration:%lld,time_base:%d,%d",
             index,
             (long long) avPacket->pts,
             (long long) avPacket->dts,
             (long long) avPacket->duration,
             time_base.num, time_base.den);
        avPacket->pos = -1;
        //写出数据
        ret = av_interleaved_write_frame(out_fmt, avPacket);
        if (ret != 0) {
            LOGE("av_interleaved_write_frame failed");
        }
        av_packet_unref(avPacket);

        index++;
    }
    return 0;
}

void H264Publisher::EncodeBuffer(unsigned char *nv21Buffer) {

    uint8_t *i420_y = pFrameBuffer;
    uint8_t *i420_u = pFrameBuffer + width * height;
    uint8_t *i420_v = pFrameBuffer + width * height * 5 / 4;

    //NV21转I420
    libyuv::ConvertToI420(nv21Buffer, width * height, i420_y, height, i420_u, height / 2, i420_v,
                          height / 2, 0, 0, width, height, width, height, libyuv::kRotate270,
                          libyuv::FOURCC_NV21);

    pFrame->data[0] = i420_y;
    pFrame->data[1] = i420_u;
    pFrame->data[2] = i420_v;

    //编码H.264
    EncodeFrame(pCodecCtx, pFrame, &avPacket);
}

我们结束推流的时候，将transform标记为false状态，然后处理完最后一帧数据，最后关闭相关的句柄，回收资源。

void H264Publisher::StopPublish() {
    //标记转换结束
    this->transform = false;

    int result = EncodeFrame(pCodecCtx, NULL, &avPacket);
    if (result >= 0) {
        //封装文件尾
        av_write_trailer(out_fmt);
        //释放内存
        if (pCodecCtx != NULL) {
            avcodec_close(pCodecCtx);
            avcodec_free_context(&pCodecCtx);
            pCodecCtx = NULL;
        }
        if (pFrame != NULL) {
            av_free(pFrame);
            pFrame = NULL;
        }
        if (pFrameBuffer != NULL) {
            av_free(pFrameBuffer);
            pFrameBuffer = NULL;
        }
        if (out_fmt != NULL) {
            avio_close(out_fmt->pb);
            avformat_free_context(out_fmt);
            out_fmt = NULL;
        }
    }
}

注意：之前也说过了，android相机默认采集的数据是NV21格式的，我们是无法直接处理的，需要先将NV21格式转换成Y420P格式的数据，并且旋转270度(后置相机旋转90度)，得到最终的数据，送入编码器中进行编码成H264格式的数据，最后才通过av_interleaved_write_frame推流到服务器上去。

用ffplay播放我们的局域网直播流rtmp://192.168.1.102:1935/onzhou/live

ffplay rtmp://192.168.1.102:1935/onzhou/live

存在的问题

目前只处理了视频编码推流部分，为了更方便的了解推流过程，音频编码暂未处理，后续会有音频相关的内容。

参考：
项目地址：ffmpeg-camera-stream
https://github.com/byhook/ffmpeg4android

参考：
https://blog.csdn.net/leixiaohua1020/article/details/47056051
https://blog.csdn.net/leixiaohua1020/article/details/39803457
https://blog.csdn.net/bixinwei22/article/details/78770090

handy周
关注
专栏目录
Android FFmpeg Camera2 推流直播
金戈鐡馬
03-02 1672
前言自己花了点时间实现了一个使用FFmpeg将Camera2视频数据推送到RTMP服务的简单Demo，在这里分享下，里面用到知识很多都是之前博客中用到的，难度不大。
FFmpeg采集摄像头图像并推流（RTSP/RTMP）---开发总结
热门推荐
爱写代码的自由人
10-28 3万+
我的一篇博文《如何用FFmpeg API采集摄像头视频和麦克风音频。。。》已经介绍了如何从视音频采集设备获取数据，并且编码、保存文件到本地。但是，有些应用并不是把流保存成文件，而是需要发送到网络的，比如现在很典型的一种应用场景：把流推送到RTSP、RTMP、HLS服务器，由服务器转发给其他用户观看。很多开发者也是调用FFmpeg API来实现推流的，用FFmpeg 做一个推流器很简单，调用流程跟输...
ffmpeg 摄像头和屏幕推流
baeeqregist的博客
01-15 1717
1 屏幕推流 ffmpeg -f gdigrab -i desktop -vcodec libx264 -s 1280x720 -r 30 -b 1m -f flv rtmp://192.168.1.5:1935/live/desktop2 摄像头推流到服务器 2.1 查看摄像头名称 ffmpeg -list_devices true -f dshow -i dummy 2.2 执行推流命令 ff...
ffmpeg摄像头Android,Android平台下使用FFmpeg进行RTMP推流（摄像头推流）
weixin_39623671的博客
05-29 1711
简介今天要给大家介绍如何在Android平台下获取采集的图像，并进行编码推流。同时项目工程也是在之前的代码基础上新增功能QQ截图20171124114855.png打开摄像头并设置参数具体代码查看CameraActivity.javaprivate Camera getCamera() {Camera camera;try {//打开相机，默认为后置，可以根据摄像头ID来指定打开前置还是后置cam...
Android 音视频深入 十六 FFmpeg 推流手机摄像头，实现直播 （附源码下载）
z979451341的博客
02-28 5330
源码地址https://github.com/979451341/RtmpCamera/tree/master配置RMTP服务器，虽然之前说了，这里就直接粘贴过来吧1.配置RTMP服务器这个我不多说贴两个博客分别是在mac和windows环境上的，大家跟着弄MAC搭建RTMP服务器https://www.jianshu.com/p/6fcec3b9d644这个是在windows上的，RTMP服务器...
android平台Camera采集数据ffmpeg进行编码探究
此时此刻，走走停停
08-08 1811
在PC机上，Camera采集数据利用ffmpeg进行编码往往没有任何问题，但是到了android平台或多或少会出现一系列问题，下面就针对这些问题总结一下。   1、在PC和android平台最大的差别就是架构不一样，这就是导致出现一系列问题的“罪魁祸首”的原因：    android端采用的精简指令导致编码运算时间远远长于PC机。   2、不管是本地编码存储还是编码之后发送到后台直播，这些都
Android中使用ffmpeg编码进行rtmp推流
weixin_34220179的博客
03-28 564
要理解RTMP推流，我们就要知道详细原理，这方面的文章有很多，我也看到过学习过很多这样的文章，但是很多都没有详细的去给大家展示，都没有一个完整的流程，使得初学者难以弄懂其中的原理，下面我将详细的来给大家介绍RTMP推流原理以及如何推送到服务器，首先我们了解一下推流的全过程： 本工程的源码地址如下： RiemannLeeLiveProject 我们将会分为几个小节来展开： 一. 本文用到的库文件...
Android使用FFMpeg实现推送视频直播流到服务器
weixin_34126557的博客
08-29 978
背景 在过去的2015年中，视频直播页的新宠无疑是户外直播。随着4G网络的普及和覆盖率的提升，主播可以在户外通过手机进行直播。而观众也愿意为这种可以足不出户而观天下事的服务买单。基于这样的背景，本文主要实现在Android设备上采集视频并推流到服务器。 概览 如下图所示，在安卓上采集并推流主要应用到两个类。首先是安卓Api自带的Camera，实现从摄像头采集图像。然后是Javacv 中的FF...
Android 使用ffmpeg软编码 将摄像头采集视频编码成视频文件
一航jason
08-23 1401
Android 适用ffmpeg软编码 将摄像头采集视频编码成视频文件。 这次代码实现的是视频采集的功能，Android 通过jni 调用ffmpeg 编码yuv数据变成视频文件。 先上代码： //编码器上下文保存的实体 struct EnCodeBean { FILE *f; AVFrame *frame; AVPacket *pkt; AVCodecContext *c = NULL; int width=0; int height=0; }; EnC
Android摄像头RTMP推流
03-01
在Android平台上进行实时流媒体传输，尤其是通过摄像头进行RTMP推流，是一项常见的技术需求，尤其是在视频直播应用中。本文将深入探讨如何使用FFmpeg库实现这一功能。 FFmpeg是一款强大的开源多媒体处理工具，它...
FFmpeg+camera+rtmp推送.rar
09-10
ffmpeg开发的采集PC摄像头和音频采集卡并推送rtmp程序，可以直接使用
ffmpeg推送摄像头rtmp流
07-02
详细信息请看： https://blog.csdn.net/liujiayu2/article/details/80880815
FFmpeg4Android：视频文件推流
03-30
FFmpeg4Android：视频文件推流到nginx服务器（源码） RTMP推流器（Streamer）的在流媒体系统中的作用可以用下图表示。首先将视频数据以RTMP的形式发送到流媒体服务器端（Server，比如FMS，Red5，Wowza等），然后客户端（一般为Flash Player）通过访问流媒体服务器就可以收看实时流了。 运行本程序之前需要先运行RTMP流媒体服务器，并在流媒体服务器上建立相应的Application。有关流媒体服务器的操作不在本文的论述范围内，在此不再详述。本程序运行后，即可通过RTMP客户端（例如 Flash Player, FFplay等等）收看推送的直播流。
Android使用ffmpeg4.0+实现camera和record合成mp4
12-07
使用采用camera2采集编码为mpeg4 音频采用AudioRecoder采集编码为aac编码 加入了libyuv做nv21转i420
c语言开发摄像头推流软件,Android CameraX 摄像头RTMP推流实现.md
weixin_28893221的博客
05-19 949
# Android CameraX 摄像头RTMP推流实现[代码传送门GItHub](https://github.com/kusebingtang/ffmpeg_x264_AVFoundation_Project/tree/main/CameraXAchiveH264)## CameraX摄像头数据获取```groovydef camerax_version = "1.0.0-alpha05"i...
2、Linuix\Android进行视频获取和推流服务器(FFMPEG4.4&Android7.0)
sxj731533730
05-29 1758
基本思想：进行手机端android的N21编码转视频流和C++端的FFMEGG视频推流（真心不会写android，东拼西凑的代码~） 一、（1）创建Android的Native基础工程--完成 （2）在基础的工程之上，创建页面imageview布局，留给视频流显示 对应的code代码 <?xml version="1.0" encoding="utf-8"?> <androidx.constraintlayout.widget.ConstraintLayout xmlns:a
使用ffmpeg命令实现桌面推流、摄像头推流
最新发布
Delevy的博客
06-21 2527
使用ffmpeg桌面推流的多种方法
FFmpeg Android 实现本地推流直播
wq892373445的博客
08-27 495
1\在AndroidManifest.xml文件中添加权限 <uses-permission android:name="android.permission.INTERNET" /> <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" /> <uses-permission android:name="android.permission.RECORD_AUDIO" /> &
基于ffmpeg件一张图片编码成H264格式推流到本地的rtsp服务器上
03-24
答：您可以使用ffmpeg的命令行工具来完成这个任务。具体步骤如下： 1. 使用以下命令将图片转为视频流：ffmpeg -loop 1 -i image.jpg -c:v libx264 -t 30 -pix_fmt yuv420p video.mp4 2. 使用以下命令将视频流转为RTSP流：ffmpeg -i video.mp4 -vcodec copy -an -f rtsp rtsp://localhost:8554/stream 这样就可以将编码后的H264视频推流到本地的RTSP服务器上了。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值