【ffmpeg裁剪视频faster rcnn自动检测 via】全自动实现ffmpeg将视频切割为图片帧，再使用faster rcnn将图片中的人检测出来，最后将检测结果转化为via可识别的csv格式

最新推荐文章于 2024-06-21 17:51:59 发布
最新推荐文章于 2024-06-21 17:51:59 发布
阅读量4.1k 收藏 29
点赞数 8
文章标签： ffmpeg faster rcnn via dectectron python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/115439655
版权

目录

前言

B站讲解视频

通过slowfast的官网可以知道，使用ffmpeg将视频先裁剪15分钟的视频，然后将15分钟的视频转化为图片帧。再使用detectron2的faster rcnn检测所有图片，再用python将检测结果整理为via（VGG Image Annotator）可是识别的csv文件。

一，ffmpeg 自动裁剪

我们需要将视频剪辑为15分钟的视频，这里和ava不同，ava要的是视频第15分钟到30分钟的，但是我们这里就不用了，直接裁剪0到15分钟的视频。

然后是将15分钟的视频切割成帧，我这里是每秒一帧。

1.1 目录结构

首先创建四个文件夹
ffmpeg_code:存放ffmpeg代码
myFrames：存放视频裁剪后的图片帧
myVideo：原始视频
myVideo15mins：剪辑后的视频（15分钟）
在这里插入图片描述

1.2 cutVideoToImage.sh

在ffmpeg_code下创建cutVideoToImage.sh
在这里插入图片描述

这个代码就是自动把视频裁剪，然后再裁剪图片

代码如下（有注释）：

#这个shell是将视频先剪辑为15分钟视频，然后再将15分钟的视频按照每秒1帧剪辑为图片

#开始之前 先清除 myFrames下的内容
rm -rf /home/lxn/yf_videos/myFrames

#这里是剪辑视频，和ava官网不同，这里直接剪辑前15分钟的视频
videoName="eight.mp4"
ffmpeg -ss 0 -t 901 -i "../myVideo/${videoName}" "../myVideo15mins/${videoName}"

#切割图片，每秒1帧
IN_DATA_DIR="../myVideo15mins"
OUT_DATA_DIR="../myFrames"

if [[ ! -d "${OUT_DATA_DIR}" ]]; then
  echo "${OUT_DATA_DIR} doesn't exist. Creating it.";
  mkdir -p ${OUT_DATA_DIR}
fi

for video in $(ls -A1 -U ${IN_DATA_DIR}/*)
do
  video_name=${video##*/}

  if [[ $video_name = *".webm" ]]; then
    video_name=${video_name::-5}
  else
    video_name=${video_name::-4}
  fi

  out_video_dir=${OUT_DATA_DIR}/${video_name}/
  mkdir -p "${out_video_dir}"

  out_name="${out_video_dir}/${video_name}_%06d.jpg"

  ffmpeg -i "${video}" -r 1 -q:v 1 "${out_name}"
done

#需要裁剪的图片移动到指定文件夹，用于faster rcnn自动框人
#首先清理指定文件夹里存在的图片
rm -rf /home/lxn/0yangfan/detectron2_repo/img/original
#存放检测结果的文件也需要清空
#rm -rf /home/lxn/0yangfan/detectron2_repo/img/detection

if [[ videoName = *".webm" ]]; then
  videoName=${videoName::-5}
else
  videoName=${videoName::-4}
  fi
cp -r "../myFrames/${videoName}" /home/lxn/0yangfan/detectron2_repo/img/original

在代码的最后一句：

cp -r "../myFrames/${videoName}" /home/lxn/0yangfan/detectron2_repo/img/original

这个表示将最后裁剪的图片放在/home/lxn/0yangfan/detectron2_repo/img/original目录下，这个img/original目录是自己创建的目录。

1.2 myVideo

在myVideo下存放原始视频，就是我们自己收集的数据集视频
在这里插入图片描述

1.3 myVideo15mins

在myVideo15mins中存放剪辑的视频（代码中自动剪辑存储）
在这里插入图片描述

1.5 myFrames

myFrames中存放剪辑的图片
在这里插入图片描述

1.6 运行

进入到目录：/ffmpeg_code中，然后执行如下命令：

 sudo sh cutVideoToImage.sh

会花一点时间（顺便去背背单词）
在这里插入图片描述
在这里插入图片描述

1.7 查看结果

最后结果，是要在/home/lxn/0yangfan/detectron2_repo/img/original下查看，如果这里出现了903张剪辑好的图片，说明成功了。

二，detectron2中的faster rcnn检测

第一部分，我们已经将视频转化为图片，这一部分将使用detectron2中的faster rcnn 将全部图片进行检测。
在这里插入图片描述

2.1 img

在目录/detectron2_repo/下创建img目录，这个目录用来存放原始图片，处理后的图片，csv文件。
在这里插入图片描述
original：用于存放原始图片的目录（里面的图片是ffmpeg裁剪出来的，然后再复制到这个目录下的）。
在这里插入图片描述
detection用于存放检测后的图片
在这里插入图片描述

detection.csv：是将最后的检测结果转换为via可以识别的csv文件。

2.2 myvia.py

在目录/detectron2_repo/demo/下创建myvia.py这个文件：
在这里插入图片描述
代码如下（有注释）：

#Copyright (c) Facebook, Inc. and its affiliates.
import argparse
import glob
import multiprocessing as mp
import os
import time
import cv2
import tqdm
import os

from detectron2.config import get_cfg
from detectron2.data.detection_utils import read_image
from detectron2.utils.logger import setup_logger

from predictor import VisualizationDemo

import csv
import pandas as pd  #导入pandas包
import re

# constants
WINDOW_NAME = "COCO detections"


def setup_cfg(args):
    # load config from file and command-line arguments
    cfg = get_cfg()
    # To use demo for Panoptic-DeepLab, please uncomment the following two lines.
    # from detectron2.projects.panoptic_deeplab import add_panoptic_deeplab_config  # noqa
    # add_panoptic_deeplab_config(cfg)
    cfg.merge_from_file(args.config_file)
    cfg.merge_from_list(args.opts)
    # Set score_threshold for builtin models
    cfg.MODEL.RETINANET.SCORE_THRESH_TEST = args.confidence_threshold
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = args.confidence_threshold
    cfg.MODEL.PANOPTIC_FPN.COMBINE.INSTANCES_CONFIDENCE_THRESH = args.confidence_threshold
    cfg.freeze()
    return cfg


def get_parser():
    parser = argparse.ArgumentParser(description="Detectron2 demo for builtin configs")
    parser.add_argument(
        "--config-file",
        default="configs/quick_schedules/mask_rcnn_R_50_FPN_inference_acc_test.yaml",
        metavar="FILE",
        help="path to config file",
    )
    parser.add_argument("--webcam", action="store_true", help="Take inputs from webcam.")
    parser.add_argument("--video-input", help="Path to video file.")
    parser.add_argument(
        "--input",
        nargs="+",
        help="A list of space separated input images; "
        "or a single glob pattern such as 'directory/*.jpg'",
    )
    parser.add_argument(
        "--output",
        help="A file or directory to save output visualizations. "
        "If not given, will show output in an OpenCV window.",
    )

    parser.add_argument(
        "--confidence-threshold",
        type=float,
        default=0.5,
        help="Minimum score for instance predictions to be shown",
    )
    parser.add_argument(
        "--opts",
        help="Modify config options using the command-line 'KEY VALUE' pairs",
        default=[],
        nargs=argparse.REMAINDER,
    )
    return parser


if __name__ == "__main__":
    mp.set_start_method("spawn", force=True)
    args = get_parser().parse_args()
    setup_logger(name="fvcore")
    logger = setup_logger()
    logger.info("Arguments: " + str(args))

   
    #图片的输入和输出文件夹
    imgOriginalPath = './img/original/'
    imgDetectionPath= './img/detection'

    # 读取文件下的图片名字
    for i,j,k in os.walk(imgOriginalPath):
        # k 存储了图片的名字
        #imgInputPaths用于存储图片完整地址
        #使用.sort()防止乱序
        k.sort()
        imgInputPaths = k
        countI=0
        for namek in k:
            #循环将图片的完整地址加入imgInputPaths中
            imgInputPath = imgOriginalPath + namek
            imgInputPaths[countI]=imgInputPath
            countI = countI + 1
        break
        
    #修改args里输入图片的里路径
    args.input = imgInputPaths
    
   
    
    #修改args里输出图片的路径
    args.output = imgDetectionPath
    
    cfg = setup_cfg(args)
    demo = VisualizationDemo(cfg)
    
    #创建csv
    csvFile = open("./img/detection.csv", "w+",encoding="gbk") 
    #创建写的对象
    CSVwriter = csv.writer(csvFile)     
    #先写入columns_name 
    #写入列的名称
    CSVwriter.writerow(["filename","file_size","file_attributes","region_count","region_id","region_shape_attributes","region_attributes"])     
    #写入多行用CSVwriter
    #写入多行
    #CSVwriter.writerows([[1,a,b],[2,c,d],[3,d,e]])
    #csvFile.close()
    #https://blog.csdn.net/xz1308579340/article/details/81106310?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control
    
    if args.input:
        if len(args.input) == 1:
            args.input = glob.glob(os.path.expanduser(args.input[0]))
            assert args.input, "The input path(s) was not found"
        for path in tqdm.tqdm(args.input, disable=not args.output):
            # use PIL, to be consistent with evaluation
            img = read_image(path, format="BGR")
            start_time = time.time()
            predictions,visualized_output = demo.run_on_image(img)
            
            #只要检测结果是人的目标结果
            mask = predictions["instances"].pred_classes == 0
            pred_boxes = predictions["instances"].pred_boxes.tensor[mask]
            
            #在路径中正则匹配图片的名称
            ImgNameT = re.findall(r'[^\\/:*?"<>|\r\n]+$', path)
            ImgName = ImgNameT[0]
            
            
            #获取图片大小（字节）
            ImgSize = os.path.getsize(path)
            
            #下面的为空(属性不管)
            img_file_attributes="{"+"}"
            
            #每张图片检测出多少人
            img_region_count = len(pred_boxes)
            
            #region_id表示在这张图中，这是第几个人，从0开始数
            region_id = 0
            
            #region_attributes 为空
            img_region_attributes = "{"+"}"
            
            #循环图中检测出的人的坐标，然后做修改，以适应via
            for i in pred_boxes:
                
                #将i中的数据类型转化为可以用的数据类型（list）
                iList = i.cpu().numpy().tolist()
                
                #数据取整,并将坐标数据放入到
                img_region_shape_attributes = {"\"name\"" : "\"rect\"" , "\"x\"" : int(iList[0]) , "\"y\"" : int(iList[1]) ,"\"width\"" : int(iList[2]-iList[0]) , "\"height\"" : int(iList[3]-iList[1]) }
                
                #将信息写入csv中
                CSVwriter.writerow([ImgName,ImgSize,'"{}"',img_region_count,region_id,str(img_region_shape_attributes),'"{}"'])
                
                region_id = region_id + 1
                
            logger.info(
                "{}: {} in {:.2f}s".format(
                    path,
                    "detected {} instances".format(len(predictions["instances"]))
                    if "instances" in predictions
                    else "finished",
                    time.time() - start_time,
                )
            )

            if args.output:
                if os.path.isdir(args.output):
                    assert os.path.isdir(args.output), args.output
                    out_filename = os.path.join(args.output, os.path.basename(path))
                else:
                    assert len(args.input) == 1, "Please specify a directory with args.output"
                    out_filename = args.output
                visualized_output.save(out_filename)
            else:
                cv2.namedWindow(WINDOW_NAME, cv2.WINDOW_NORMAL)
                cv2.imshow(WINDOW_NAME, visualized_output.get_image()[:, :, ::-1])
                if cv2.waitKey(0) == 27:
                    break  # esc to quit
    
    #关闭csv    
    csvFile.close()

2.3 运行

进入到目录：/detectron2_repo中，输入命令：

 python3 ./demo/myvia.py --config-file configs/COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml  --opts MODEL.WEIGHTS detectron2://COCO-Detection/faster_rcnn_R_50_FPN_3x/137849458/model_final_280758.pkl

在这里插入图片描述

在这里插入图片描述

2.4 结果展示

检测结果图
在这里插入图片描述
检测后的csv文件

在这里插入图片描述

三，via标注

最后，我们要把上一部分生成的csv文件导入到via中，开始之前，需要做一些准备。

3.1 csv文件修改（去掉全部单引号）

在这里插入图片描述
在文件夹detectron2_repo/img/中的detection.csv还不能直接用，要做一点点修改，修改如下：

使用文本编辑器打开detection.csv
在这里插入图片描述
要做的修改就是将这里面的全部 ’ 去掉（去掉全部的单引号）
在这里插入图片描述

3.2 在via中导入图片

打开via

在这里插入图片描述
选中原始图图片
在这里插入图片描述
导入成功后的样子
在这里插入图片描述

3.2 导入csv文件

按照下图方式选中detection.csv文件
在这里插入图片描述
最后的结果展示
在这里插入图片描述

CSPhD-winston-杨帆
关注
  • 8
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
java后台利用ffmpeg实现将视频截取某一帧图片并保存
06-06
截取视频中的某一帧的图像含ffmpeg.jar 和调用方法和类
Mask R-CNN图像实例分割实战：训练自己的数据集
06-23
Mask R-CNN是一种基于深度学习的图像实例分割方法，可对物体进行目标检测和像素级分割。本课程将手把手地教大家使用VIA图像标注工具制作自己的数据集，并使用Mask R-CNN训练自己的数据集，从而能开展自己的图像分割应用。本课程有三个项目案例实践：(1) balloon实例分割 ：对图像中的气球做检测和分割(2) pothole（单类物体)实例分割：对汽车行驶场景中的路坑进行检测和分割(3) roadscene( 多类物体)实例分割：对汽车行驶场景中的路坑、车、车道线等进行检测和分割本课程使用Keras版本的Mask R-CNN，在Ubuntu系统上做项目演示。 本课程提供项目的数据集和python程序文件。下面是使用Mask R-CNN对roadscene进行图像实例分割的测试结果：下图是使用Mask R-CNN对pothole进行单类物体图像实例分割的测试结果：下图是使用Mask R-CNN对roadscene进行多类物体图像实例分割的测试结果：
FFmpeg命令行工具的使用：ffmpeg
boymy
12-07 84
通用参数 -f : -f fmt 指定音频或视频格式 录制屏幕 ffmpeg -f avfoundation -i 1 -r 30 out.yuv -i: -i filename 指定输入文件名 录制屏幕 ffmpeg -f avfoundation -i 1 -r 30 out.yuv -y 覆盖已有文件，不在询问是否覆盖 录制屏幕 ffmpeg -f avf...
ffmpeg 将视频裁减为一个个视频帧（图片）
weixin_42220452的博客
04-08 140
/%d.png ： 最终裁减的每帧的格式 0.png, 1.png, 2.png等等。-r 60：裁减的帧率，也就是每秒60帧。xxx.mp4: 需要被裁减的视频。
[深度学习] fast-reid入门教程
热门推荐
You and Me
01-14 1万+
fast-reid入门教程 ReID，全拼为Re-identification，目的是利用各种智能算法在图像数据库中找到与要搜索的目标相似的对象。ReID是图像检索的一个子任务，本质上是图像检索而不是图像分类。fast-reid是一个强悍的目标重识别Reid开源库，由京东开源管理。本文主要是介绍fast-reid的使用，随着技术的发展，对于cv从业人员有必要了解不同智能算法技术的应用。而且ReID是相对下游的任务，了解ReID的相关技术应用能学到很多东西。 文章目录fast-reid入门教程1 fast-r
【制作ava数据集 二】将切割的视频片段输出图片帧，用via工具进行标注。
weixin_45140119的博客
09-10 1080
一 利用ffmpeg将视频转为图片帧： ffmpeg -i 地址/listen1.mp4 -vf fps=1 地址/listen1/li1_%6d.jpg 用两种方式切割视频： 第一种：每秒1帧切割，每段视频动作结果放到一个文件夹 第二种：每秒30帧切割，每段视频动作结果放到一个文件夹中（注：和上面1帧不是同一个文件夹） 二 使用via标注图片 下载via-2.0版本：https://www.robots.ox.ac.uk/~vgg/software/via/ ...
Detectron2 测试用例 demo 代码注释
mmm305658979的博客
03-15 4493
demo预测流程: args传参 -- cfg获取 -- VisualizationDemo模型建立 (元数据获取 -- \ DefaultPredictor预测模型 (元结构注册 -- 指定要评估 -- 元数据注册 -- 加载模型权重 -- 图像resize和BGR)) -- \ 预测数据读入 -- VisualizationDemo预测结果及可视化 (DefaultPredi...
基于java实现对长短视频进行片段的裁剪选择+MediaMetadataRetriever获取视频帧+ffmpeg视频裁剪压缩
05-04
FFmpeg实现裁剪视频 FFmpeg实现裁剪之后的视频压缩 采用Loader或者ContentProvider获取所有视频资源 采用VideoView播放视频 采用RecycleView显示视频的帧图片 通过MediaMetadataRetriever获取视频帧的Bitmap View的...
ffmpeg 裁剪、切割视频
04-14
使用 shell 和 ffmpeg 结合，实现自动获取视频分辨率、时长，并且按指定的宽高裁剪视频的中间部分的画面的功能。
C# 视频转图片 在 C# 中将视频转换为图像可以使用 FFmpeg 库
03-08
C# 视频转图片 在 C# 中将视频转换为图像可以使用 FFmpeg 库(非源码) 具体见: https://blog.csdn.net/djk8888/article/details/136503921?spm=1001.2014.3001.5501
winform C# ffmpeg 图片转成视频
04-08
本源码是ffmpeg转换视频，编译环境为vs2017，如需要转换其他格式视频填写对应的视频格式的编码格式【-f image2 -i c:\temp\d.jpg -vcodec libx264 test.mp4】，支持的图片格式为jpg，bmp，tiff等等。请注意对应的...
VOC、YOLO、VIA、KITTI等数据标注格式解析
sunmingyang1987的博客
10-22 3134
目录VOCYOLOVIAKITTI VOC VOC的全称是Visual Object Classes，第一届PASCAL VOC举办于2005年，然后每年一届，于2012年终止。 VOC标注文件是xml文件内容如下： <?xml version="1.0" encoding="utf-8"?> <annotation> <folder>VOC2007</folder> <filename>test100.mp4_3380.jpeg&
训练faster rcnn出现AssertionError的解决办法
bingbingxie1的博客
01-07 1万+
在使用caffe训练faster rcnn的时候，报了一个断言错误： File “/py-faster-rcnn/tools/../lib/datasets/imdb.py”, line 108, in append_flipped_images assert (boxes[:, 2] &gt;= boxes[:, 0]).all() AssertionError 问题解决： 1、...
使用ffmpeg分割视频为图像、将图像合并为视频
weixin_50594261的博客
10-28 2499
视频分割为图像 如果待分割视频在A文件夹下，则在该文件下，按住“shift”右击，点击打开powershell，输入以下内容：
用ffmepeg将视频分解成图片
qq_41254285的博客
07-01 1222
1、在桌面上新建一个文件夹，取名FfmpegVideos，把要分解的视频放进FfmpegVideos文件夹中； 2、我这里把我存放视频的文件夹放在D盘中， 输入 ffmpeg -y -i 自己文件夹路径/视频名称.avi 分解图片存放的路径/FfmpegImages/%04d.png。 分解完成就是这个样子的。 未完待续 ...
ffmpeg实现简单视频解码（将视频文件分解为单张RGB图片）
agentky的博客
01-06 1039
参考链接 官网 https://ffmpeg.org/doxygen/3.4/decode_video_8c-example.html https://blog.csdn.net/u014162133/article/details/81131339 核心流程及API //处理输入 /* register all formats and codecs */ av_register_all(); /* open input file, and allocate format context */ avform
【FFmpeg】AVIOContext结构体
最新发布
weixin_42877471的博客
06-21 1044
AVIOContext当中比较重要的信息包括： （1）unsigned char *buffer：buffer的起始地址 （2）int buffer_size：buffer的大小 （3）unsigned char *buf_ptr：buffer当前的指针 （4）unsigned char *buf_end：buffer末尾的地址 （5）void *opaque：URLContext （6）int (*read_packet)(void *opaque, uint8_t *buf, int buf_size)
创建FFmpeg进程以将文件转为 H.264 / H.265编码流的参数设置
04-04
以下是用FFmpeg将文件转为H.264/H.265编码流的参数设置： H.264编码： ffmpeg -i input_file -vcodec libx264 -crf 28 -preset medium -tune film -pix_fmt yuv420p -f mpegts output_file.ts 参数说明： -i input_file：输入文件路径。 -vcodec libx264：使用libx264编码器进行视频编码。 -crf 28：压缩率，值越小，视频质量越高，但文件也越大。一般取值范围为18-28。 -preset medium：预设编码速度和质量。有ultrafast、superfast、 veryfast、 faster、 fast、 medium、 slow、 slower、 veryslow等选项。 -tune film：调整压缩算法，有film、animation、grain、stillimage等选项。 -pix_fmt yuv420p：指定像素格式，一般为yuv420p。 -f mpegts：输出格式为mpegts。 output_file.ts：输出文件路径。 H.265编码： ffmpeg -i input_file -vcodec libx265 -crf 28 -preset medium -tune film -pix_fmt yuv420p -f mpegts output_file.ts 参数说明与H.264编码相同，只是-vcodec参数改为libx265，即使用libx265编码器进行视频编码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值