FFmpeg 实现从摄像头获取流并通过RTMP推流

已于 2024-07-18 11:56:47 修改
阅读量902 收藏 7
点赞数 6
文章标签： ffmpeg 音视频 h.264
于 2024-07-03 18:21:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42161913/article/details/140159226
版权

使用FFmpeg库（版本号为：4.4.2-0ubuntu0.22.04.1）实现从麦克风获取流并通过RTMP推流。
RTMP服务器使用的是SRS，我这边是跑在Ubuntu上的，最好是关闭掉系统防火墙，不然连接服务器好像会出问题，拉流端使用VLC。如果想降低延时，首先需要配置SRS为Realtime模式，拉流的话就不要用VLC了，使用 ffplay 来拉流播放，拉流命令如下：

ffplay -fflags nobuffer -flags low_delay -framedrop -strict experimental rtmp://192.168.3.230/live/livestream

 局域网内用摄像头对着手机秒表实测延时只有零点几秒。

在Linux上查看摄像头信息可使用 v4l2-ctl 工具，查看命令如下：

v4l2-ctl --device=/dev/video0 --list-formats-ext

代码如下：

#include <libavdevice/avdevice.h>
#include <libswscale/swscale.h>
#include <libavutil/imgutils.h>

int main(void)
{
    const char *input_format_name = "video4linux2";           // 输入格式名称，Linux下为video4linux2或v4l2
    const char *device_name = "/dev/video0";                  // 摄像头设备名称
    const char *camera_resolution = "640x480";                // 摄像头分辨率
    enum AVPixelFormat camera_pix_fmt = AV_PIX_FMT_YUYV422;   // 摄像头像素格式
    const char *url = "rtmp://192.168.3.230/live/livestream"; // rtmp地址
    int frame_rate = 25;                                      // 帧率
    int ret = -1;
    int video_streamid = -1;
    int64_t frame_index = 0;
    AVDictionary *options = NULL;
    AVInputFormat *fmt = NULL;
    AVFormatContext *in_context = NULL, *out_context = NULL;
    struct SwsContext *sws_ctx = NULL;
    AVCodecContext *codec_context = NULL;
    AVStream *out_stream = NULL;
    AVCodec *codec = NULL;

    // 打印ffmpeg版本信息
    printf("ffmpeg version: %s\n", av_version_info());

    // 注册所有设备
    avdevice_register_all();

    // 查找输入格式
    fmt = av_find_input_format(input_format_name);
    if (!fmt)
    {
        printf("av_find_input_format error");
        return -1;
    }

    // 设置分辨率
    av_dict_set(&options, "video_size", camera_resolution, 0);

    // 打开输入流并初始化格式上下文
    ret = avformat_open_input(&in_context, device_name, fmt, &options);
    if (ret != 0)
    {
        // 错误的时候释放options，成功的话 avformat_open_input 内部会释放
        av_dict_free(&options);
        printf("avformat_open_input error");
        return -1;
    }

    // 查找流信息
    if (avformat_find_stream_info(in_context, 0) < 0)
    {
        printf("avformat_find_stream_info failed\n");
        return -1;
    }

    // 查找视频流索引
    video_streamid = av_find_best_stream(in_context, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    if (video_streamid < 0)
    {
        printf("cannot find video stream");
        goto end;
    }
    AVStream *video_stream = in_context->streams[video_streamid];
    printf("input stream, width: %d, height: %d, format: %s\n",
           video_stream->codecpar->width, video_stream->codecpar->height,
           av_get_pix_fmt_name((enum AVPixelFormat)video_stream->codecpar->format));

    // 检查实际获取到的格式是否为设置的摄像头像素格式
    if (video_stream->codecpar->format != camera_pix_fmt)
    {
        printf("pixel format error");
        goto end;
    }

    // 初始化转换上下文
    sws_ctx = sws_getContext(
        video_stream->codecpar->width, video_stream->codecpar->height, camera_pix_fmt,
        video_stream->codecpar->width, video_stream->codecpar->height, AV_PIX_FMT_YUV420P,
        SWS_BILINEAR, NULL, NULL, NULL);
    if (!sws_ctx)
    {
        printf("sws_getContext error\n");
        goto end;
    }

    // 分配输出格式上下文
    avformat_alloc_output_context2(&out_context, NULL, "flv", NULL);
    if (!out_context)
    {
        printf("avformat_alloc_output_context2 failed\n");
        goto end;
    }

    // 查找编码器
    codec = avcodec_find_encoder(AV_CODEC_ID_H264);
    if (!codec)
    {
        printf("Codec not found\n");
        goto end;
    }
    printf("codec name: %s\n", codec->name);

    // 创建新的视频流
    out_stream = avformat_new_stream(out_context, NULL);
    if (!out_stream)
    {
        printf("avformat_new_stream failed\n");
        goto end;
    }

    // 分配编码器上下文
    codec_context = avcodec_alloc_context3(codec);
    if (!codec_context)
    {
        printf("avcodec_alloc_context3 failed\n");
        goto end;
    }

    // 设置编码器参数
    codec_context->codec_id = AV_CODEC_ID_H264;
    codec_context->codec_type = AVMEDIA_TYPE_VIDEO;
    codec_context->pix_fmt = AV_PIX_FMT_YUV420P;
    codec_context->width = video_stream->codecpar->width;
    codec_context->height = video_stream->codecpar->height;
    codec_context->time_base = (AVRational){1, frame_rate};         // 设置时间基
    codec_context->framerate = (AVRational){frame_rate, 1};         // 设置帧率
    codec_context->bit_rate = 750 * 1000;                           // 设置比特率
    codec_context->gop_size = frame_rate;                           // 设置GOP大小
    codec_context->max_b_frames = 0;                                // 设置最大B帧数，不需要B帧时设置为0
    av_opt_set(codec_context->priv_data, "profile", "baseline", 0); // 设置h264画质级别
    av_opt_set(codec_context->priv_data, "tune", "zerolatency", 0); // 设置h264编码优化参数
    // 检测输出上下文的封装格式，判断是否设置 AV_CODEC_FLAG_GLOBAL_HEADER
    // AV_CODEC_FLAG_GLOBAL_HEADER：由原来编码时在每个关键帧前加入pps和sps，改变为在extradate这个字节区加入pps和sps
    if (out_context->oformat->flags & AVFMT_GLOBALHEADER)
    {
        printf("set AV_CODEC_FLAG_GLOBAL_HEADER\n");
        codec_context->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
    }

    // 打开编码器
    if (avcodec_open2(codec_context, codec, NULL) < 0)
    {
        printf("avcodec_open2 failed\n");
        goto end;
    }

    // 将编码器参数复制到流
    ret = avcodec_parameters_from_context(out_stream->codecpar, codec_context);
    if (ret < 0)
    {
        printf("avcodec_parameters_from_context failed\n");
        goto end;
    }

    // 分配内存
    AVFrame *input_frame = av_frame_alloc();
    AVFrame *frame_yuv420p = av_frame_alloc();
    if (!input_frame || !frame_yuv420p)
    {
        printf("av_frame_alloc error\n");
        goto end;
    }
    AVPacket *packet = av_packet_alloc();
    if (!packet)
    {
        printf("av_packet_alloc failed\n");
        goto end;
    }

    // 设置帧格式
    input_frame->format = camera_pix_fmt;
    input_frame->width = video_stream->codecpar->width;
    input_frame->height = video_stream->codecpar->height;

    frame_yuv420p->format = AV_PIX_FMT_YUV420P;
    frame_yuv420p->width = video_stream->codecpar->width;
    frame_yuv420p->height = video_stream->codecpar->height;

    // 分配帧内存
    ret = av_frame_get_buffer(frame_yuv420p, 0);
    if (ret < 0)
    {
        printf("av_frame_get_buffer error\n");
        goto end;
    }

    // 打开url
    if (!(out_context->oformat->flags & AVFMT_NOFILE))
    {
        ret = avio_open(&out_context->pb, url, AVIO_FLAG_WRITE);
        if (ret < 0)
        {
            printf("avio_open error (errmsg '%s')\n", av_err2str(ret));
            goto end;
        }
    }

    // 写文件头
    ret = avformat_write_header(out_context, NULL);
    if (ret < 0)
    {
        printf("avformat_write_header failed\n");
        goto end;
    }

    // 读取帧并进行转换
    AVPacket pkt;
    while (av_read_frame(in_context, &pkt) >= 0)
    {
        if (pkt.stream_index == video_streamid)
        {
            // 把读取的帧数据(AVPacket)拷贝到输入帧(AVFrame)中
            ret = av_image_fill_arrays(input_frame->data, input_frame->linesize, pkt.data, camera_pix_fmt,
                                       video_stream->codecpar->width, video_stream->codecpar->height, 1);
            if (ret < 0)
            {
                av_packet_unref(&pkt);
                printf("av_image_fill_arrays error\n");
                break;
            }

            // 转换为 YUV420P
            sws_scale(sws_ctx, (const uint8_t *const *)input_frame->data, input_frame->linesize, 0,
                      input_frame->height, frame_yuv420p->data, frame_yuv420p->linesize);

            frame_yuv420p->pts = frame_index;
            frame_index++;
            // 发送帧到编码器
            ret = avcodec_send_frame(codec_context, frame_yuv420p);
            if (ret < 0)
            {
                printf("avcodec_send_frame error (errmsg '%s')\n", av_err2str(ret));
                break;
            }

            // 接收编码后的数据包
            while (ret >= 0)
            {
                ret = avcodec_receive_packet(codec_context, packet);
                if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
                {
                    break;
                }
                else if (ret < 0)
                {
                    printf("avcodec_receive_packet error (errmsg '%s')\n", av_err2str(ret));
                    goto end;
                }

                packet->stream_index = out_stream->index;
                // 将时间戳从编码器时间基转换到流时间基
                av_packet_rescale_ts(packet, codec_context->time_base, out_stream->time_base);
                packet->pos = -1;
                // 推送到RTMP服务器
                ret = av_interleaved_write_frame(out_context, packet);
                if (ret < 0)
                {
                    printf("av_interleaved_write_frame error (errmsg '%d')\n", ret);
                    av_packet_unref(packet);
                    goto end;
                }

                av_packet_unref(packet);
            }
        }
        av_packet_unref(&pkt);
    }

end:
    // 释放资源
    if (input_frame)
        av_frame_free(&input_frame);
    if (frame_yuv420p)
        av_frame_free(&frame_yuv420p);
    if (sws_ctx)
        sws_freeContext(sws_ctx);
    if (in_context)
        avformat_close_input(&in_context);
    if (packet)
        av_packet_free(&packet);
    if (codec_context)
        avcodec_free_context(&codec_context);
    if (out_context && !(out_context->flags & AVFMT_NOFILE))
        avio_close(out_context->pb);
    if (out_context)
        avformat_free_context(out_context);

    return 0;
}

相关博客：FFmpeg YUV编码为H264 

静止了 所有的花开
关注
  • 6
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ffmpeg读取本地摄像头推rtmp流
12-02
利用ffmpeg编解码库推本地图片或者本地摄像头成rtmp流，资源内容为cpp文件，ffmpeg编译时需要注意版本，不然会出现未定义出错，ffmpeg新旧库更新问题。 可更改代码中部分参数，降低延迟以及提高推流图像的质量。
FFmpeg 采集摄像头输出rtmp直播流媒体，win10+VS2015,整体项目文件
07-14
FFmpeg 采集摄像头视频H264编码输出rtmp流媒体项目文件基于雷神之前代码汇总编译，经过测试，基本代码涵盖注释。VS2015编译环境编译通过，ffmpeg学习用
【ffmpeg命令】RTMP推流
m0_62599305的博客
07-19 1340
在现代的视频直播中，RTMP（Real-Time Messaging Protocol）是一种广泛使用的流媒体传输协议。它允许高效的实时视频和音频传输，是许多直播平台和应用的首选协议。FFmpeg 是一个强大的多媒体处理工具，可以实现视频录制、转换和流媒体功能。通过结合 RTMP 和 FFmpeg，我们可以实现高效、稳定的视频推流，满足各种直播需求。本文将简要介绍如何使用 FFmpeg 命令进行 RTMP 推流，帮助读者快速掌握这一技术，以便在实际应用中灵活运用。
ffmpeg推送摄像头rtmp流
07-02
详细信息请看： https://blog.csdn.net/liujiayu2/article/details/80880815
FFmpeg命令：几种常见场景下的FFmpeg命令（摄像头采集推流，桌面屏幕录制推流、转流，拉流等等）...
weixin_30371875的博客
10-10 4598
前提： 首先你得有FFmpeg（ffmpeg官网快捷通道：http://ffmpeg.org/） 再者，推流你得有个流媒体服务，个人测试用小水管：rtmp://eguid.cc:1935/rtmp/test（小水管，请尽量错开时间使用，另切记推流视频码率不要太高，避免占用太多带宽） 一、摄像头信息采集和录制推流 摄像头名称要通过这个命令拿到，然后替换掉下面...
ffmpeg rtmp音视频推流实现
不断debug，优化中……
03-24 1451
为了方便理解，举个不恰当的例子，就好比做月饼一样，一套月饼就是容器，一套月饼肯定需要包装盒子，而包装盒子又有纸盒、铁盒不同材质，容器也一样，容器也有不用的格式mp4、flv等。月饼盒子里面又有一个小盒（装月饼），看成是流，小盒子里时原滋原味的月饼，流装的是音视频数据（不止有音视频数据、还有字幕等）。2、准备音视频流，读取文件对其解封装，读取码流数据，将其存储在队列中。“拿到原汁原味的月饼”紧接上篇文章，实现本地推流，需要经历容器层→解封装→容器层→协议层。3、开始读取队列，将读到数据写入文件中，进行推流。
音视频开发—FFmpeg 打开摄像头进行RTMP推流
weixin_46999174的博客
06-21 2228
本文讲述了如何打开摄像头，并且使用H264编码原始视频数据，并推送到RTMP服务器
最简单的基于FFmpeg的推流器（以推送RTMP为例）
热门推荐
雷霄骅(leixiaohua1020)的专栏
10-06 30万+
本文记录一个最简单的基于FFmpeg的推流器（simplest ffmpeg streamer）。推流器的作用就是将本地的视频数据推送至流媒体服务器。本文记录的推流器，可以将本地的 MOV / AVI / MKV / MP4 / FLV 等格式的媒体文件，通过流媒体协议（例如RTMP，HTTP，UDP，TCP，RTP等等）以直播流的形式推送出去。由于流媒体协议种类繁多，不一一记录。在这里记录将本地
使用FFmpeg采集摄像头图像和麦克风音频
02-15
使用FFmpeg API采集摄像头图像和麦克风音频，支持图像预览，把图像和音频编码后保存成文件，实现视音频同步机制。为更好理解代码，请阅读我博客上相关的一篇文章：https://blog.csdn.net/zhoubotong2012/article/details/79338093
使用FFmpeg进行摄像头视频采集
晴天的专栏
05-08 2953
之前用directshow做视频采集，虽然可以通过预览窗口进行视频预览，但是灵活性不好，无法对视频数据进行其他编码等（当时尝试过很多次，没成功 ），现在使用FFmpeg进行采集视频，主要是可以对视频进行再编码，操作比较方便。下面附上主要部分的源代码： #include "video.h" videoMgr::videoMgr() { m_url = ""; m_shortName = ""; CoInitialize(NULL); } videoMgr::~videoM...
windows利用ffmpeg采集摄像头画面，支持服务启动，支持一键启动
zengliguang的专栏
07-07 1874
1. 我们再windows 系统下采用ffmpeg去采集笔记本电脑摄像头的时候需要先获取摄像头的信息2. 因为每台电脑摄像头的信息不一样，如果名称不对会导致不能采集。
基于ffmpeg的API，从摄像头采集数据并将其保存为mp4
05-07
基于ffmpeg的API，从摄像头采集数据并将其保存为mp4或者avi文件。有详细的中文备注，测试可用。-Ffmpeg' s API to collect data from the camera and save it as mp4 or avi file. Detailed Chinese notes, tests are available. ffmpeg基于0.6.7的 老版本稳定性高
摄像头推流到rtmp
05-28
推流到rtmp,使用opencv摄像头输入，FFMPEG编码，推流到nginx-RTMP服务器，形成直播系统，opencv处理图像很强，可以方便加入各种特效。
FFMPEG USB摄像头RTMP推流.zip
04-25
在“FFMPEG USB摄像头RTMP推流.zip”这个压缩包中，主要涉及到的是利用FFmpeg通过USB摄像头进行视频采集，并通过RTMP协议将H264编码的视频流推送到服务器的过程。 首先，我们需要理解FFmpeg如何与USB摄像头交互。在...
qt使用ffmpeg api进行摄像头视频流的读取，推流，拉流，视频播放等功能的实现
08-03
在本文中，我们将深入探讨如何使用Qt框架结合FFmpeg API来实现摄像头视频流的读取、推流、拉流以及视频播放功能。Qt是一个强大的C++图形用户界面库，而FFmpeg则是一个开源的多媒体处理工具集，包含了音视频编码、...
使用FFmpeg实现摄像头RTMP实时推流
最新发布
Vulcan_S的博客
08-07 1010
在当今的数字时代，视频直播已成为连接人与人之间的重要桥梁，广泛应用于在线教育、远程会议、娱乐直播等多个领域。随着技术的不断进步，人们对于直播的实时性、稳定性和高质量需求日益增加。为了实现高效的视频直播，选择合适的工具和协议至关重要。RTMP（Real-Time Messaging Protocol）作为一种广泛使用的实时视频传输协议，以其低延迟、高兼容性和广泛的服务器支持而著称。
【FFmpeg】使用 ffmpeg 命令实现直播推拉流 ( 推流和拉流简介 | 流媒体服务器搭建 | 使用 ffmpeg 命令进行推流操作 | 使用 ffmpeg/ffplay 命令进行拉流操作 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
05-05 1万+
一、推流和拉流简介 1、直播推流和拉流操作 2、直播推流和拉流涉及到的软件 3、推流 -> 拉流 流程 二、流媒体服务器搭建 1、相关文件准备 2、创建 ECS 云服务器实例 3、配置安全组 4、使用 WinSCP 上传流媒体服务器软件及配置脚本 5、使用 SecureCRT 连接服务器 6、搭建流媒体服务器 三、使用 ffmpeg 命令进行推流操作 四、使用 ffplay 命令进行拉流操作 五、使用 ffmpeg 命令进行拉流操作
FFmpeg读取视频文件rtmp推流
路过的熊的博客
08-17 198
FFmpeg读取视频文件rtmp推流
ffmpeg linux 摄像头推流 rtmp C语言完整 代码
07-14
下面是一个更完整的C代码示例，用于在Linux上使用FFmpeg库推送摄像头流到RTMP服务器： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <fcntl.h> #include <sys/ioctl.h> #include <linux/videodev2.h> #define WIDTH 640 #define HEIGHT 480 #define FPS 30 #define RTMP_URL "rtmp://your-rtmp-server-url" int main(void) { int fd; struct v4l2_format fmt; struct v4l2_requestbuffers req; struct v4l2_buffer buf; enum v4l2_buf_type type; FILE *pipein; char command[256]; int frame_size = WIDTH * HEIGHT * 3; // 打开摄像头设备 fd = open("/dev/video0", O_RDWR); if (fd == -1) { perror("Error opening video device"); return -1; } // 配置摄像头格式 memset(&fmt, 0, sizeof(fmt)); fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; fmt.fmt.pix.width = WIDTH; fmt.fmt.pix.height = HEIGHT; fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_RGB24; fmt.fmt.pix.field = V4L2_FIELD_NONE; if (ioctl(fd, VIDIOC_S_FMT, &fmt) == -1) { perror("Error setting video format"); close(fd); return -1; } // 请求摄像头缓冲区 memset(&req, 0, sizeof(req)); req.count = 1; req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; req.memory = V4L2_MEMORY_MMAP; if (ioctl(fd, VIDIOC_REQBUFS, &req) == -1) { perror("Error requesting buffers"); close(fd); return -1; } // 映射摄像头缓冲区到用户空间 memset(&buf, 0, sizeof(buf)); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; buf.index = 0; if (ioctl(fd, VIDIOC_QUERYBUF, &buf) == -1) { perror("Error querying buffer"); close(fd); return -1; } void *buffer_start = mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, fd, buf.m.offset); if (buffer_start == MAP_FAILED) { perror("Error mapping buffer"); close(fd); return -1; } // 开始摄像头流捕获 type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (ioctl(fd, VIDIOC_STREAMON, &type) == -1) { perror("Error starting streaming"); munmap(buffer_start, buf.length); close(fd); return -1; } // 构建FFmpeg命令 sprintf(command, "ffmpeg -f rawvideo -pixel_format rgb24 -video_size %dx%d -framerate %d -i - -c:v libx264 -pix_fmt yuv420p -f flv %s", WIDTH, HEIGHT, FPS, RTMP_URL); // 打开管道 pipein = popen(command, "w"); if (pipein == NULL) { perror("Error opening pipe for output"); munmap(buffer_start, buf.length); close(fd); return -1; } // 循环读取摄像头帧并推流 while (1) { // 从摄像头获取帧 memset(&buf, 0, sizeof(buf)); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; if (ioctl(fd, VIDIOC_QBUF, &buf) == -1) { perror("Error queuing buffer"); break; } // 开始采集帧 if (ioctl(fd, VIDIOC_DQBUF, &buf) == -1) { perror("Error dequeuing buffer"); break; } // 将帧数据写入pipein以推流 if (fwrite(buffer_start, 1, frame_size, pipein) != frame_size) { perror("Error writing to pipe"); break; } // 重新将帧放回摄像头缓冲区队列 if (ioctl(fd, VIDIOC_QBUF, &buf) == -1) { perror("Error requeuing buffer"); break; } } // 停止摄像头流捕获 type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (ioctl(fd, VIDIOC_STREAMOFF, &type) == -1) { perror("Error stopping streaming"); } // 释放资源 pclose(pipein); munmap(buffer_start, buf.length); close(fd); return 0; } ``` 请注意，这个示例代码假设你的摄像头设备文件为`/dev/video0`，并且使用RGB24像素格式。如果你的设备文件或像素格式不同，你需要相应地修改代码。另外，还需要将`RTMP_URL`替换为你的RTMP服务器的URL。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值