【视频处理】利用FFMPEG采集USB摄像头数据

最新推荐文章于 2024-08-07 16:11:47 发布
最新推荐文章于 2024-08-07 16:11:47 发布
阅读量2.5k 收藏 28
点赞数
分类专栏： 流媒体技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yy197696/article/details/105749299
版权

之前一直是采用V4L2的基础协议进行USB数据采集，然而并不是非常的方便，在移植了FFMPEG之后，有了另外一种选择。相对于直接采集方便了很多。
ffmpeg.cpp

#include "ffmpeg.h"


#define FFMPEG_MJPEG
//#define FFMPEG_H264
//#define FFMPEG_YUV

#define TIMEMS      qPrintable(QTime::currentTime().toString("HH:mm:ss zzz"))

ffmpeg::ffmpeg(QWidget *parent) :
    QThread(parent)
{
    framCount = 0;
    frameFinish = 0;
    saveFile = true;
    framIndex = 0;
    isOutputFileOpen = false;
}


ffmpeg::~ffmpeg()
{
}


/* 功能：初始化解封装上下文，解码器上下文，和格式转换上下文（yuv转rgb）
 *      1 解封装
 *      2 解码
 *      3 格式转换
 * 参数：无
 * 返回值：成功返回零，失败返回-1
 */
int ffmpeg::initDecodeVideo()
{
    //注册库中所有可用的文件格式和解码器
    av_register_all();
    //注册所有设备,主要用于本地摄像机播放支持
    avdevice_register_all();

    qDebug() << TIMEMS << "init ffmpeg lib ok" << " version:" << FFMPEG_VERSION;


    AVDictionary *options = NULL;
    AVCodec *deCodec = NULL;       //解码器


    //为解封装上下文开辟空间
    ifmt_ctx = avformat_alloc_context();
    //解封装对象
    AVInputFormat *ifmt = av_find_input_format("video4linux2");

    //打开输入视频流，进行解封装
    av_dict_set(&options, "framerate", "30", 0);
    av_dict_set(&options, "video_size", "1280x720", 0);
#ifdef FFMPEG_MJPEG
    av_dict_set(&options, "input_format", "mjpeg", 0);
#endif

#ifdef FFMPEG_YUV
    av_dict_set(&options, "input_format", "yuyv422", 0);
#endif
    int result = avformat_open_input(&ifmt_ctx, inputFilename, ifmt, &options);
    if (result < 0) {
        qDebug() << TIMEMS << "open input error" << inputFilename;
        return false;
    }
    //释放设置参数
    if(options != NULL) {
        av_dict_free(&options);
    }

    //获取流信息
    result = avformat_find_stream_info(ifmt_ctx, NULL);
    if (result < 0) {
        qDebug() << TIMEMS << "find stream info error";
        return false;
    }
    videoStreamIndex = -1;

    videoStreamIndex = av_find_best_stream(ifmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, &deCodec, 0);

    if (videoStreamIndex < 0) {
        qDebug() << TIMEMS << "find video stream index error";
        return false;
    }

    //从输入封装上下文获取输入视频流
    in_stream = ifmt_ctx->streams[videoStreamIndex];
    if (!in_stream)
    {
        printf("Failed get input stream\n");
        return false;
    }

    //获取视频流解码器上下文
    deCodecCtx = in_stream->codec;

    //获取分辨率大小
    videoWidth = in_stream->codec->width;
    videoHeight = in_stream->codec->height;

    //如果没有获取到宽高则返回
    if (videoWidth == 0 || videoHeight == 0) {
        qDebug() << TIMEMS << "find width height error";
        return false;
    }

    //获取视频流的帧率 fps,要对0进行过滤,除数不能为0,有些时候获取到的是0
    int num = in_stream->codec->framerate.num;
    int den = in_stream->codec->framerate.den;
    if (num != 0 && den != 0) {
        videoFps = num / den ;
    }

    QString videoInfo = QString("视频流信息 -> 索引: %1   格式: %2  时长: %3 秒  fps: %4  分辨率: %5*%6")
                        .arg(videoStreamIndex).arg(ifmt_ctx->iformat->name)
                        .arg((ifmt_ctx->duration) / 1000000).arg(videoFps).arg(videoWidth).arg(videoHeight);
    qDebug() << TIMEMS << videoInfo;

    //打开视频解码器
    result = avcodec_open2(deCodecCtx, deCodec, NULL);
    if (result < 0) {
        qDebug() << TIMEMS << "open video codec error";
        return false;
    }

    avDePacket = av_packet_alloc();
    avDeFrameYuv = av_frame_alloc();
    avDeFrameRgb = av_frame_alloc();

    //比较上一次文件的宽度高度,当改变时,需要重新分配内存
    if (oldWidth != videoWidth || oldHeight != videoHeight) {
        int byte = avpicture_get_size(AV_PIX_FMT_RGB32, videoWidth, videoHeight);
        buffer = (uint8_t *)av_malloc(byte * sizeof(uint8_t));
        oldWidth = videoWidth;
        oldHeight = videoHeight;
    }

    //定义像素格式
    AVPixelFormat srcFormat = AV_PIX_FMT_YUV420P;
    AVPixelFormat dstFormat = AV_PIX_FMT_RGB32;

#ifdef FFMPEG_MJPEG
    srcFormat = AV_PIX_FMT_YUV420P;
#endif

#ifdef FFMPEG_YUV
    srcFormat = AV_PIX_FMT_YUYV422;
#endif

#ifdef FFMPEG_H264
    srcFormat = AV_PIX_FMT_YUV420P;
#endif
    av_image_fill_arrays(avDeFrameRgb->data, avDeFrameRgb->linesize, buffer, dstFormat, videoWidth, videoHeight, 1);
    int flags = SWS_FAST_BILINEAR;

    swsContextYuvtoRgb = sws_getContext(videoWidth, videoHeight, srcFormat, videoWidth, videoHeight, dstFormat, flags, NULL, NULL, NULL);

    //打开输出视频的文件
    outFile.setFileName(outputFilename);
    outFile.open(QIODevice::WriteOnly);


    qDebug() << TIMEMS << "init ffmpegVideo ok";

    return 0;
}

int ffmpeg::playVideo()
{
    initDecodeVideo();
    while(true)
    {
        if (av_read_frame(ifmt_ctx, avDePacket) >= 0) {
            //判断当前包是视频还是音频
            int index = avDePacket->stream_index;
            in_stream  = ifmt_ctx->streams[index];

            if (index == videoStreamIndex) {
                avcodec_decode_video2(deCodecCtx, avDeFrameYuv, &frameFinish, avDePacket);
                if (frameFinish)
                {

                    //将数据转成一张图片YuvtoRgb
                    sws_scale(swsContextYuvtoRgb, (const uint8_t *const *)avDeFrameYuv->data, avDeFrameYuv->linesize,\
                              0, videoHeight, avDeFrameRgb->data, avDeFrameRgb->linesize);

                    QImage image((uchar *)buffer, videoWidth, videoHeight, QImage::Format_RGB32);

                    if (!image.isNull()) {
                        emit receiveImage(image);
                    }

                    framIndex ++;
                    qDebug()<< "解码到第" << framIndex << "帧";
                    qDebug() << TIMEMS;
                    if(framIndex > 200)
                    {
                        framIndex = 0;
                        break;
                    }

                    for(int i = 0;i < avDeFrameYuv->height;i++){
                        outFile.write((char *)(avDeFrameYuv->data[0] + i * avDeFrameYuv->linesize[0]),avDeFrameYuv->width);
                    }

                    int loop = avDeFrameYuv->height / 2;
                    int len_uv = avDeFrameYuv->width / 2;

                    for(int i = 0;i < loop;i++){
                        outFile.write((char *)(avDeFrameYuv->data[1] + i * avDeFrameYuv->linesize[1]),len_uv);
                    }
                    for(int i = 0;i < loop;i++){
                        outFile.write((char *)(avDeFrameYuv->data[2] + i * avDeFrameYuv->linesize[2]),len_uv);
                    }


                }
                av_packet_unref(avDePacket);
                av_freep(avDePacket);
            }

        }
    }
    outFile.close();

    avformat_free_context(ifmt_ctx);
    //关闭编码和解码器
    avcodec_close(deCodecCtx);
    //清理编码器和解码器上下文
    avcodec_free_context(&deCodecCtx);
    //清理格式转换上下文
    sws_freeContext(swsContextYuvtoRgb);

    qDebug() << TIMEMS << "stop ffmpeg thread";
}
void ffmpeg::run()
{
    playVideo();
}

ffmpeg.h

#ifndef FFMPEG_H
#define FFMPEG_H

#include <QMainWindow>
#include <QMutex>
#include <QDateTime>
#include <QFile>
#include <QThread>
#include <QDebug>

//引入ffmpeg头文件
extern "C" {
#include "libavutil/opt.h"
#include "libavutil/time.h"
#include "libavutil/frame.h"
#include "libavutil/pixdesc.h"
#include "libavutil/avassert.h"
#include "libavutil/imgutils.h"
#include "libavutil/ffversion.h"
#include "libavcodec/avcodec.h"
#include "libswscale/swscale.h"
#include "libavdevice/avdevice.h"
#include "libavformat/avformat.h"
#include "libavfilter/avfilter.h"

#ifndef gcc45
#include "libavutil/hwcontext.h"
#endif
}


namespace Ui {
class ffmpeg;
}

class ffmpeg : public QThread
{
    Q_OBJECT

public:
    explicit ffmpeg(QWidget *parent = nullptr);
    ~ffmpeg();
    char *outputFilename;
    char *inputFilename;

protected:
    void run();
signals:
    //收到图片信号
    void receiveImage(const QImage &image);

private:
    uint64_t framIndex;
    int lastMsec;
    int videoStreamIndex;               //视频流索引
    int videoWidth;                     //视频宽度
    int videoHeight;                    //视频高度
    int videoFps;                       //视频流帧率
    int frameFinish;                    //一帧完成
    bool saveFile;
    bool isOutputFileOpen;
    uint64_t framCount;                 //帧计数

    uint8_t *buffer;                    //存储解码后图片buffer
    AVOutputFormat *ofmt = NULL;        //输出格式

    AVPacket *avDePacket;               //解码包对象

    AVFrame *avDeFrameYuv;              //解码帧对象YUV
    AVFrame *avDeFrameRgb;              //解码帧对象RGB

    AVFormatContext *ifmt_ctx;          //输入封装格式对象
    AVFormatContext *ofmt_ctx;          //输出封装格式对象

    AVStream *in_stream;                //输入视频流
    AVStream *out_stream;               //输出视频流

    AVCodecContext *deCodecCtx;         //解码器上下文

    SwsContext *swsContextYuvtoRgb;     //格式转换上下文（YuvtoRgb）

    int oldWidth;                       //上一次视频宽度
    int oldHeight;                      //上一次视频高度

    QFile  outFile;

private:
    Ui::ffmpeg *ui;
    int initDecodeVideo();
    int playVideo();

};

#endif // FFMPEG_H

这里需要移植QT，这是后面的硬件编码的RTMP推流的基础。

与光同程
关注
专栏目录
FFMPEG视频开发：Linux使用FFMPEG采集摄像头数据保存为MP4文件存储(采集摄像头数据方式使用ffmpeg本身的接口)
走向CTO的路上...
05-01 289
本项目介绍如何在Linux下利用FFMPEG采集摄像头的图像数据，并将其编码为H.264视频，保存为MP4文件。
【FFMPEG应用篇】基于FFmpeg的Windows摄像头采集到编码H264
用可见的方式来记录和分享每一次收获
01-09 695
Windows摄像头采集编码
使用FFmpeg采集摄像头图像和麦克风音频
02-15
使用FFmpeg API采集摄像头图像和麦克风音频，支持图像预览，把图像和音频编码后保存成文件，实现视音频同步机制。为更好理解代码，请阅读我博客上相关的一篇文章：https://blog.csdn.net/zhoubotong2012/article/details/79338093
使用FFmpeg实现摄像头RTMP实时推流
最新发布
Vulcan_S的博客
08-07 1050
在当今的数字时代，视频直播已成为连接人与人之间的重要桥梁，广泛应用于在线教育、远程会议、娱乐直播等多个领域。随着技术的不断进步，人们对于直播的实时性、稳定性和高质量需求日益增加。为了实现高效的视频直播，选择合适的工具和协议至关重要。RTMP（Real-Time Messaging Protocol）作为一种广泛使用的实时视频传输协议，以其低延迟、高兼容性和广泛的服务器支持而著称。
FFMPEG 从USB摄像头捕获数据
qq_38750519的博客
10-23 4308
FFMPEG系列笔记记录 第一章 FFMPEG编译 第二章 FFMPEG学习 从USB摄像头捕获数据 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 FFMPEG学习 从USB摄像头捕获数据FFMPEG系列笔记记录前言一、v4l2是什么？二、具体实践1.初始化摄像头2.内存映射3.开始采集4.写入文件5.关闭码流6.解除映射7.关闭摄像头8.主程序总结 前言 在学习FFMPEG过程中，需要获取图像数据，简单一点可以直接取下载，但是我们在处理过程中，需要不同格式的数据，正好有个usb摄
FFmpeg 采集摄像头输出rtmp直播流媒体，win10+VS2015,整体项目文件
07-14
FFmpeg 采集摄像头视频H264编码输出rtmp流媒体项目文件基于雷神之前代码汇总编译，经过测试，基本代码涵盖注释。VS2015编译环境编译通过，ffmpeg学习用
使用FFmpeg进行摄像头视频采集
晴天的专栏
05-08 2954
之前用directshow做视频采集，虽然可以通过预览窗口进行视频预览，但是灵活性不好，无法对视频数据进行其他编码等（当时尝试过很多次，没成功 ），现在使用FFmpeg进行采集视频，主要是可以对视频进行再编码，操作比较方便。下面附上主要部分的源代码： #include "video.h" videoMgr::videoMgr() { m_url = ""; m_shortName = ""; CoInitialize(NULL); } videoMgr::~videoM...
windows利用ffmpeg采集摄像头画面，支持服务启动，支持一键启动
zengliguang的专栏
07-07 1880
1. 我们再windows 系统下采用ffmpeg去采集笔记本电脑摄像头的时候需要先获取摄像头的信息2. 因为每台电脑摄像头的信息不一样，如果名称不对会导致不能采集。
Qt5通过FFmpeg采集USB摄像头图像生成YUV文件
07-10
总结来说，"Qt5通过FFmpeg采集USB摄像头图像生成YUV文件"涉及到的技术点包括Qt5 GUI编程、FFmpeg的API使用、视频流处理、YUV图像格式理解和文件操作。这个项目有助于开发者掌握多媒体处理的基本技能，同时也提供了...
利用ffmpeg从USB摄像头获取视频并保存为H264的TS流的C语言源代码
11-05
在本项目中，我们将探讨如何利用FFmpeg的C语言API从USB摄像头捕获视频流，并将其编码为H264格式的TS流。 首先，我们需要了解FFmpeg的基本架构。FFmpeg主要由libavformat、libavcodec、libavutil和libavfilter四大库...
FFmpeg采集树莓派USB摄像头（UVC摄像头）
梦回南柯的博客
05-10 3875
采集mjpeg格式视频 ffplay -f video4linux2 -input_format mjpeg -framerate 25 -video_size 640x480 -i /dev/video0 采集yuyv422格式视频 ffplay -f video4linux2 -input_format yuyv422 -framerate 25 -video_size 640x480 -i /dev/video0 推送mjpeg视频流 ffmpeg -f video4linux2 -input_
基于ffmpeg的API，从摄像头采集数据并将其保存为mp4
05-07
基于ffmpeg的API，从摄像头采集数据并将其保存为mp4或者avi文件。有详细的中文备注，测试可用。-Ffmpeg' s API to collect data from the camera and save it as mp4 or avi file. Detailed Chinese notes, tests are available. ffmpeg基于0.6.7的 老版本稳定性高
【音视频】基于FFMPEG采集摄像头图像编码MP4视频+时间水印
guanlizhongxintishi的博客
10-28 1112
摄像头图像采集+MP4视频编码参考示例：https://blog.csdn.net/weixin_44453694/arcle/det水印添加处理参数示例：https://blog.csdn.net/weixin_44453694/article/details/123909568。
FFMPEG封装摄像头采集的图像数据到MP4文件
RourkeLi的博客
05-08 832
使用FFMPEG封装摄像头采集的图像数据到MP4文件
FFmpeg采集设备
shelutai的博客
01-22 3490
ffmpeg采集设备
FFMPEG--获取usb摄像头视频
Every moment of My life !!!
11-24 1271
环境 FFMPEG 版本 ffmpeg-4.3.1.tar.bz2 ./configure --prefix=./install --enable-shared --disable-static --disable-x86asm 文件目录 ├── 3rdparty │ ├── ffmpeg │ │ ├── include │ │ │ ├── libavcodec │ │ │ ├── libavdevice │ │ │ ├── libavfilter │
FFmpeg —— ffmpeg代码播放本地USB摄像头（附源码）
wx微信公众号“码农总动员”，获取更多编程知识
03-19 2700
Windows介绍       播放摄像头前需要获取到摄像头的名称。             获取方式一：设备管理器查看     相关文章      rtmp测试地址（2021版）      FFmpeg —— Linux下进行配置      FFmpeg —— 简介      FFmpeg —— Linux下进行配置      FFmpeg —— 工具指令介绍      FFmpeg —— 常用工具命令      FFmpeg —— AVFormatContext      FFmpeg —— AVCo
FFmpeg入门详解之122：Qt5 FFmpeg本地摄像头采集预览实战
福优学苑@音视频+流媒体
11-07 2400
源码工程：S26_Test2FFmpeg命令行处理摄像头命令执行后输出的结果如下（注：中文的设备会出现乱码的情况）。列表显示设备的名称很重要，输入的时候都是使用“-f dshow -i video="{设备名}"”的方式。获取摄像头数据（保存为本地文件或者发送实时流）编码为H.264，保存为本地文件下面这条命令，实现了从摄像头读取数据并编码为H.264，最后保存成mycamera.mkv。
ffmpeg采集摄像头
07-28
ffmpeg采集摄像头数据需要具备两个条件。首先，需要有一个摄像头，可以是USB摄像头，直接插在电脑主机之后。其次，需要安装了ffmpeg，可以通过自己编译的方式安装ffmpeg。使用ffmpeg命令可以采集yuv数据。例如，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

与光同程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值