【ffmpeg裁剪视频faster rcnn自动检测 via】全自动实现ffmpeg将视频切割为图片帧，再使用faster rcnn将图片中的人检测出来，最后将检测结果转化为via可识别的csv格式

最新推荐文章于 2024-09-13 20:40:11 发布
最新推荐文章于 2024-09-13 20:40:11 发布
阅读量4.5k 收藏 30
点赞数 8
文章标签： ffmpeg faster rcnn via dectectron python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/115439655
版权

目录

前言

B站讲解视频

通过slowfast的官网可以知道，使用ffmpeg将视频先裁剪15分钟的视频，然后将15分钟的视频转化为图片帧。再使用detectron2的faster rcnn检测所有图片，再用python将检测结果整理为via（VGG Image Annotator）可是识别的csv文件。

一，ffmpeg 自动裁剪

我们需要将视频剪辑为15分钟的视频，这里和ava不同，ava要的是视频第15分钟到30分钟的，但是我们这里就不用了，直接裁剪0到15分钟的视频。

然后是将15分钟的视频切割成帧，我这里是每秒一帧。

1.1 目录结构

首先创建四个文件夹
ffmpeg_code:存放ffmpeg代码
myFrames：存放视频裁剪后的图片帧
myVideo：原始视频
myVideo15mins：剪辑后的视频（15分钟）
在这里插入图片描述

1.2 cutVideoToImage.sh

在ffmpeg_code下创建cutVideoToImage.sh
在这里插入图片描述

这个代码就是自动把视频裁剪，然后再裁剪图片

代码如下（有注释）：

#这个shell是将视频先剪辑为15分钟视频，然后再将15分钟的视频按照每秒1帧剪辑为图片

#开始之前 先清除 myFrames下的内容
rm -rf /home/lxn/yf_videos/myFrames

#这里是剪辑视频，和ava官网不同，这里直接剪辑前15分钟的视频
videoName="eight.mp4"
ffmpeg -ss 0 -t 901 -i "../myVideo/${videoName}" "../myVideo15mins/${videoName}"

#切割图片，每秒1帧
IN_DATA_DIR="../myVideo15mins"
OUT_DATA_DIR="../myFrames"

if [[ ! -d "${OUT_DATA_DIR}" ]]; then
  echo "${OUT_DATA_DIR} doesn't exist. Creating it.";
  mkdir -p ${OUT_DATA_DIR}
fi

for video in $(ls -A1 -U ${IN_DATA_DIR}/*)
do
  video_name=${video##*/}

  if [[ $video_name = *".webm" ]]; then
    video_name=${video_name::-5}
  else
    video_name=${video_name::-4}
  fi

  out_video_dir=${OUT_DATA_DIR}/${video_name}/
  mkdir -p "${out_video_dir}"

  out_name="${out_video_dir}/${video_name}_%06d.jpg"

  ffmpeg -i "${video}" -r 1 -q:v 1 "${out_name}"
done

#需要裁剪的图片移动到指定文件夹，用于faster rcnn自动框人
#首先清理指定文件夹里存在的图片
rm -rf /home/lxn/0yangfan/detectron2_repo/img/original
#存放检测结果的文件也需要清空
#rm -rf /home/lxn/0yangfan/detectron2_repo/img/detection

if [[ videoName = *".webm" ]]; then
  videoName=${videoName::-5}
else
  videoName=${videoName::-4}
  fi
cp -r "../myFrames/${videoName}" /home/lxn/0yangfan/detectron2_repo/img/original

在代码的最后一句：

cp -r "../myFrames/${videoName}" /home/lxn/0yangfan/detectron2_repo/img/original

这个表示将最后裁剪的图片放在/home/lxn/0yangfan/detectron2_repo/img/original目录下，这个img/original目录是自己创建的目录。

1.2 myVideo

在myVideo下存放原始视频，就是我们自己收集的数据集视频
在这里插入图片描述

1.3 myVideo15mins

在myVideo15mins中存放剪辑的视频（代码中自动剪辑存储）
在这里插入图片描述

1.5 myFrames

myFrames中存放剪辑的图片
在这里插入图片描述

1.6 运行

进入到目录：/ffmpeg_code中，然后执行如下命令：

 sudo sh cutVideoToImage.sh

会花一点时间（顺便去背背单词）
在这里插入图片描述
在这里插入图片描述

1.7 查看结果

最后结果，是要在/home/lxn/0yangfan/detectron2_repo/img/original下查看，如果这里出现了903张剪辑好的图片，说明成功了。

二，detectron2中的faster rcnn检测

第一部分，我们已经将视频转化为图片，这一部分将使用detectron2中的faster rcnn 将全部图片进行检测。
在这里插入图片描述

2.1 img

在目录/detectron2_repo/下创建img目录，这个目录用来存放原始图片，处理后的图片，csv文件。
在这里插入图片描述
original：用于存放原始图片的目录（里面的图片是ffmpeg裁剪出来的，然后再复制到这个目录下的）。
在这里插入图片描述
detection用于存放检测后的图片
在这里插入图片描述

detection.csv：是将最后的检测结果转换为via可以识别的csv文件。

2.2 myvia.py

在目录/detectron2_repo/demo/下创建myvia.py这个文件：
在这里插入图片描述
代码如下（有注释）：

#Copyright (c) Facebook, Inc. and its affiliates.
import argparse
import glob
import multiprocessing as mp
import os
import time
import cv2
import tqdm
import os

from detectron2.config import get_cfg
from detectron2.data.detection_utils import read_image
from detectron2.utils.logger import setup_logger

from predictor import VisualizationDemo

import csv
import pandas as pd  #导入pandas包
import re

# constants
WINDOW_NAME = "COCO detections"


def setup_cfg(args):
    # load config from file and command-line arguments
    cfg = get_cfg()
    # To use demo for Panoptic-DeepLab, please uncomment the following two lines.
    # from detectron2.projects.panoptic_deeplab import add_panoptic_deeplab_config  # noqa
    # add_panoptic_deeplab_config(cfg)
    cfg.merge_from_file(args.config_file)
    cfg.merge_from_list(args.opts)
    # Set score_threshold for builtin models
    cfg.MODEL.RETINANET.SCORE_THRESH_TEST = args.confidence_threshold
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = args.confidence_threshold
    cfg.MODEL.PANOPTIC_FPN.COMBINE.INSTANCES_CONFIDENCE_THRESH = args.confidence_threshold
    cfg.freeze()
    return cfg


def get_parser():
    parser = argparse.ArgumentParser(description="Detectron2 demo for builtin configs")
    parser.add_argument(
        "--config-file",
        default="configs/quick_schedules/mask_rcnn_R_50_FPN_inference_acc_test.yaml",
        metavar="FILE",
        help="path to config file",
    )
    parser.add_argument("--webcam", action="store_true", help="Take inputs from webcam.")
    parser.add_argument("--video-input", help="Path to video file.")
    parser.add_argument(
        "--input",
        nargs="+",
        help="A list of space separated input images; "
        "or a single glob pattern such as 'directory/*.jpg'",
    )
    parser.add_argument(
        "--output",
        help="A file or directory to save output visualizations. "
        "If not given, will show output in an OpenCV window.",
    )

    parser.add_argument(
        "--confidence-threshold",
        type=float,
        default=0.5,
        help="Minimum score for instance predictions to be shown",
    )
    parser.add_argument(
        "--opts",
        help="Modify config options using the command-line 'KEY VALUE' pairs",
        default=[],
        nargs=argparse.REMAINDER,
    )
    return parser


if __name__ == "__main__":
    mp.set_start_method("spawn", force=True)
    args = get_parser().parse_args()
    setup_logger(name="fvcore")
    logger = setup_logger()
    logger.info("Arguments: " + str(args))

   
    #图片的输入和输出文件夹
    imgOriginalPath = './img/original/'
    imgDetectionPath= './img/detection'

    # 读取文件下的图片名字
    for i,j,k in os.walk(imgOriginalPath):
        # k 存储了图片的名字
        #imgInputPaths用于存储图片完整地址
        #使用.sort()防止乱序
        k.sort()
        imgInputPaths = k
        countI=0
        for namek in k:
            #循环将图片的完整地址加入imgInputPaths中
            imgInputPath = imgOriginalPath + namek
            imgInputPaths[countI]=imgInputPath
            countI = countI + 1
        break
        
    #修改args里输入图片的里路径
    args.input = imgInputPaths
    
   
    
    #修改args里输出图片的路径
    args.output = imgDetectionPath
    
    cfg = setup_cfg(args)
    demo = VisualizationDemo(cfg)
    
    #创建csv
    csvFile = open("./img/detection.csv", "w+",encoding="gbk") 
    #创建写的对象
    CSVwriter = csv.writer(csvFile)     
    #先写入columns_name 
    #写入列的名称
    CSVwriter.writerow(["filename","file_size","file_attributes","region_count","region_id","region_shape_attributes","region_attributes"])     
    #写入多行用CSVwriter
    #写入多行
    #CSVwriter.writerows([[1,a,b],[2,c,d],[3,d,e]])
    #csvFile.close()
    #https://blog.csdn.net/xz1308579340/article/details/81106310?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control
    
    if args.input:
        if len(args.input) == 1:
            args.input = glob.glob(os.path.expanduser(args.input[0]))
            assert args.input, "The input path(s) was not found"
        for path in tqdm.tqdm(args.input, disable=not args.output):
            # use PIL, to be consistent with evaluation
            img = read_image(path, format="BGR")
            start_time = time.time()
            predictions,visualized_output = demo.run_on_image(img)
            
            #只要检测结果是人的目标结果
            mask = predictions["instances"].pred_classes == 0
            pred_boxes = predictions["instances"].pred_boxes.tensor[mask]
            
            #在路径中正则匹配图片的名称
            ImgNameT = re.findall(r'[^\\/:*?"<>|\r\n]+$', path)
            ImgName = ImgNameT[0]
            
            
            #获取图片大小（字节）
            ImgSize = os.path.getsize(path)
            
            #下面的为空(属性不管)
            img_file_attributes="{"+"}"
            
            #每张图片检测出多少人
            img_region_count = len(pred_boxes)
            
            #region_id表示在这张图中，这是第几个人，从0开始数
            region_id = 0
            
            #region_attributes 为空
            img_region_attributes = "{"+"}"
            
            #循环图中检测出的人的坐标，然后做修改，以适应via
            for i in pred_boxes:
                
                #将i中的数据类型转化为可以用的数据类型（list）
                iList = i.cpu().numpy().tolist()
                
                #数据取整,并将坐标数据放入到
                img_region_shape_attributes = {"\"name\"" : "\"rect\"" , "\"x\"" : int(iList[0]) , "\"y\"" : int(iList[1]) ,"\"width\"" : int(iList[2]-iList[0]) , "\"height\"" : int(iList[3]-iList[1]) }
                
                #将信息写入csv中
                CSVwriter.writerow([ImgName,ImgSize,'"{}"',img_region_count,region_id,str(img_region_shape_attributes),'"{}"'])
                
                region_id = region_id + 1
                
            logger.info(
                "{}: {} in {:.2f}s".format(
                    path,
                    "detected {} instances".format(len(predictions["instances"]))
                    if "instances" in predictions
                    else "finished",
                    time.time() - start_time,
                )
            )

            if args.output:
                if os.path.isdir(args.output):
                    assert os.path.isdir(args.output), args.output
                    out_filename = os.path.join(args.output, os.path.basename(path))
                else:
                    assert len(args.input) == 1, "Please specify a directory with args.output"
                    out_filename = args.output
                visualized_output.save(out_filename)
            else:
                cv2.namedWindow(WINDOW_NAME, cv2.WINDOW_NORMAL)
                cv2.imshow(WINDOW_NAME, visualized_output.get_image()[:, :, ::-1])
                if cv2.waitKey(0) == 27:
                    break  # esc to quit
    
    #关闭csv    
    csvFile.close()

2.3 运行

进入到目录：/detectron2_repo中，输入命令：

 python3 ./demo/myvia.py --config-file configs/COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml  --opts MODEL.WEIGHTS detectron2://COCO-Detection/faster_rcnn_R_50_FPN_3x/137849458/model_final_280758.pkl

在这里插入图片描述

在这里插入图片描述

2.4 结果展示

检测结果图
在这里插入图片描述
检测后的csv文件

在这里插入图片描述

三，via标注

最后，我们要把上一部分生成的csv文件导入到via中，开始之前，需要做一些准备。

3.1 csv文件修改（去掉全部单引号）

在这里插入图片描述
在文件夹detectron2_repo/img/中的detection.csv还不能直接用，要做一点点修改，修改如下：

使用文本编辑器打开detection.csv
在这里插入图片描述
要做的修改就是将这里面的全部 ’ 去掉（去掉全部的单引号）
在这里插入图片描述

3.2 在via中导入图片

打开via

在这里插入图片描述
选中原始图图片
在这里插入图片描述
导入成功后的样子
在这里插入图片描述

3.2 导入csv文件

按照下图方式选中detection.csv文件
在这里插入图片描述
最后的结果展示
在这里插入图片描述

CSPhD-winston-杨帆
关注
Java中使用FFmpeg进行视频图像的人脸检测
CyberWizarDD的博客
09-22 209
在Java中，我们可以使用FFmpeg库来进行视频图像的处理和分析。其中一个常见的应用是人脸检测，通过识别视频中的人脸，我们可以进行人脸识别、情感分析等各种应用。总结起来，本文介绍了如何在Java中使用FFmpeg进行视频图像的人脸检测。通过使用外部进程和FFmpeg命令，我们可以方便地在Java应用程序中集成人脸检测功能。安装和配置FFmpeg的详细步骤超出了本文的范围，您可以在FFmpeg的官方网站上找到相关的文档和指南。然后，我们构建了一个FFmpeg的命令字符串，该命令使用了FFmpeg的。
使用Java实现基于FFmpeg的视频图像中人脸检测
CyberByte的博客
08-14 320
我们通过BufferedReader来读取标准错误流的输出，并在每一行中查找包含"detect_face"关键字的信息，这些信息表示检测到的人脸位置。而在视频图像处理领域，人脸检测是一个重要的任务，它可以应用于许多场景，如视频监控、人脸识别等。需要注意的是，由于人脸检测是一个计算密集型任务，对于较长的视频可能需要较长的处理时间。接下来，我们将创建一个Java类来实现视频图像中的人脸检测功能。执行该程序后，FFmpeg会读取视频文件，并对每一帧图像进行人脸检测，将检测结果输出到标准错误流中。
ffmpeg实现简单视频解码（将视频文件分解为单张RGB图片）
agentky的博客
01-06 1100
参考链接 官网 https://ffmpeg.org/doxygen/3.4/decode_video_8c-example.html https://blog.csdn.net/u014162133/article/details/81131339 核心流程及API //处理输入 /* register all formats and codecs */ av_register_all(); /* open input file, and allocate format context */ avform
用ffmepeg将视频分解成图片
qq_41254285的博客
07-01 1279
1、在桌面上新建一个文件夹，取名FfmpegVideos，把要分解的视频放进FfmpegVideos文件夹中； 2、我这里把我存放视频的文件夹放在D盘中， 输入 ffmpeg -y -i 自己文件夹路径/视频名称.avi 分解图片存放的路径/FfmpegImages/%04d.png。 分解完成就是这个样子的。 未完待续 ...
检测场景变化并将视频按场景分开
最新发布
没报错的博客
09-13 1419
是一个功能强大的 Python 库，专门用于检测视频中的场景变化。它可以自动检测视频中不同场景的切换，并返回场景的时间段。是另一个专门用于视频场景变化检测的工具，适用于复杂的视频场景切割。它输出场景切换的时间戳，然后你可以使用这些时间戳来切割视频。具体来说，你需要读取每个视频的第一个场景的结束时间（例如。这个脚本会读取你已有的场景时间戳信息，并自动处理所有视频，删除第一个场景。：这个函数读取并解析你的时间戳文件，提取每个视频的第一个场景结束时间。函数将视频从第一个场景结束时间点剪切到视频末尾。
使用ffmpeg分割视频为图像、将图像合并为视频
weixin_50594261的博客
10-28 2802
视频分割为图像 如果待分割视频在A文件夹下，则在该文件下，按住“shift”右击，点击打开powershell，输入以下内容：
FFmpeg 多图片合成视频带字幕和音乐+特效（淡入淡出，圆圈黑色淡出）
qq_40985985的博客
10-02 2348
这篇博客将介绍 FFmpeg多图片合成视频带字幕和音乐+特效（淡入淡出，圆圈黑色淡出），主要包括封面素材寻找，封面+正文图片处理（截取以及艺术字可以Python+剪映处理），封面高质量视频制作，正文高质量视频制作，封面视频+正文视频无损合并，视频+音频合并。 本文主要用的4.1 部分脚本，4.2部分也有成功运行，但感觉不是太理想，也可以尝试其他的淡入淡出效果；[ffmpeg支持的所有fade，xfade效果可参考：](https://trac.ffmpeg.org/wiki/Xfade#MP4)
PaddleX---Faster RCNN目标检测
与其在风雨中逃避，不如在雷电中舞蹈
05-05 2219
Faster RCNN对昆虫数据集进行检测
基于yolov5目标检测，使用ffmpeg推流 vlc拉流.zip
09-05
以YOLO系列为例，YOLO将目标检测视为回归问题，将输入图像一次性划分为多个区域，直接在输出层预测边界框和类别概率。YOLO采用卷积网络来提取特征，使用全连接层来得到预测值。其网络结构通常包含多个卷积层和全连接...
视频文件太大？使用FFmpeg来无损压缩它
yinshipin007的博客
11-11 2619
因此，如果你的电脑没有很好的显卡来支持HEVC格式的硬件加速，那么将会以很慢的速度压缩你的视频，播放的时候也可能会发生卡顿。crf是Constant Rate Factor的缩写，它的值越小，画质越高，占用的空间越大。它被广泛的使用，在许多视频剪辑软件、图像处理软件中，都使用的FFmpeg，还有比如OBS这样的导播软件里面也使用了FFmpeg。它的功能还有待我们去探索，有兴趣的同学，可以在FFmpeg官网查看官方的文档与教程，学习更多的知识哦~而且，经过我的测试，在视觉上，这两个视频的画质是差不多的。
基于Faster RCNN的实时视频检测
火腿肠的幸福生活
11-29 7858
搞了三个星期，花了将近50G手机流量，终于把这个弄出来了。用faster实时检测行人，17年初的时候，当时自己正在学习DL，发现有人就做出了这个，可以实时监测到人和车辆等各种物体，一直很好奇是如何做到的，前期已经完成了基于faster的相关图片检测任务，最近又要要求搞实时的视频检测，正好可以继续。 网络：faster rcnn 模型：ZF 摄像头：笔记本自带 显卡：gtx860 上个图先...
【制作ava数据集 二】将切割的视频片段输出图片帧，用via工具进行标注。
weixin_45140119的博客
09-10 1178
一 利用ffmpeg将视频转为图片帧： ffmpeg -i 地址/listen1.mp4 -vf fps=1 地址/listen1/li1_%6d.jpg 用两种方式切割视频： 第一种：每秒1帧切割，每段视频动作结果放到一个文件夹 第二种：每秒30帧切割，每段视频动作结果放到一个文件夹中（注：和上面1帧不是同一个文件夹） 二 使用via标注图片 下载via-2.0版本：https://www.robots.ox.ac.uk/~vgg/software/via/ ...
ffmpeg常用基本命令
weixin_34174105的博客
05-09 143
2019独角兽企业重金招聘Python工程师标准>>> ...
FFmpeg常用命令总结
weixin_34319640的博客
03-13 163
ffmpeg命令分为8大类 查询命令 ffmpeg -devices 查看当前电脑的录制设备架构 ffmpeg -f avfoundation -list_devices true -i "" 查看当前电脑的录制设备列表 ffmpeg f 查看当前ffmpeg的各类详细信息 ffmpeg -help 查看ffmpeg的帮助文档 录制命令 ffmpeg -f avfoundation -i ...
视频目标检测跟踪--Detect to Track and Track to Detect
lien0906的专栏
10-23 2140
Detect to Track and Track to Detect  ICCV2017  https://github.com/feichtenhofer/detect-track ​​​​ 本文针对视频目标检测问题提出一个统一的框架同时完成检测和跟踪  In this paper we propose a unified approach to tackle the proble
FFmpeg命令行工具的使用：ffmpeg
boymy
12-07 101
通用参数 -f : -f fmt 指定音频或视频格式 录制屏幕 ffmpeg -f avfoundation -i 1 -r 30 out.yuv -i: -i filename 指定输入文件名 录制屏幕 ffmpeg -f avfoundation -i 1 -r 30 out.yuv -y 覆盖已有文件，不在询问是否覆盖 录制屏幕 ffmpeg -f avf...
项目实训（七）—场景视频切割
weixin_46449172的博客
06-10 762
二分类问题，即对每个镜头进行是否为场景边界的分类预测。（1）首先采用一个边界网络（BNet）对镜头的差异与关系进行提取，BNet由两个分支网络构建，Bd捕捉镜头前后两幕的差异，Br用于捕捉镜头关系，由一个卷积加一个最大池化层构建。 （2）基于获得通过Bnet得到的镜头代表，构建一个LSTM模型获得镜头构成场景边界的概率，通过设定场景个数阈值得到结果。 （3）在获得每个镜头边界bi的代表之后，问题变成根据表示序列[b1，···，bn-1]的序列来预测序列二进制labels [o1，o2，···，on-1],
Yolov5、rtsp-server、ffmpeg、vlc，实现实时检测视频推拉流
m0_59959542的博客
10-14 8604
1.yolov5源码；2.rtsp-server、ffmpeg、vlc，现在即相关配置。具体配置可自行搜索；3.效果展示;4.本地推流至服务器，另一台主机进行拉流
FFmpeg 图片转视频很慢
08-27
FFmpeg是一个强大的跨平台命令行工具，用于处理多媒体文件，包括音频、视频流的转换、编码、解码等。当使用FFmpeg将图片序列转换成视频时，如果速度较慢，可能是以下几个原因导致的： 1. **图片分辨率高或数量大**：每张图片的质量和尺寸都会影响到转换的时间。如果图片分辨率非常高，或者是大量的图片叠加在一起，处理时间会显著增加。 2. **编码设置**：FFmpeg提供了多种编码格式供选择，不同的编码器性能差异较大。比如H.264编码通常比 MJPEG 或 WMV 更快，但质量可能会有所牺牲。调整合适的编码参数可以提高效率。 3. **硬件限制**：如果你的计算机CPU或内存不足，处理大量图片和视频数据会显得吃力。使用更快的处理器或增加内存可以加快转换速度。 4. **命令行选项优化**：如果没有正确设置如并行处理或多线程（`-threads` 参数），FFmpeg可能会按单线程运行，这会限制了它的处理能力。 5. **I/O瓶颈**：如果输入图片存储位置离系统读取远，或者磁盘IO速度慢，也可能会影响转换速度。 为了改善这种情况，你可以尝试优化命令，例如采用多线程，调整编码格式和参数，以及检查系统的资源利用情况。这里提供一个基本的FFmpeg命令示例，你可以作为起点进行优化： ```bash ffmpeg -framerate <帧率> -i input_%d.jpg -c:v libx264 -preset faster output.mp4 ``` 其中`<帧率>`是你需要的输出视频帧率，`input_%d.jpg`代表你的图片序列文件名规则（%d表示数字序号）。记得替换具体的参数值，并查看FFmpeg文档了解更多详细选项。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值