视频循环存储的实现

已于 2024-08-12 17:47:34 修改
阅读量1.9k 收藏 5
点赞数 29
分类专栏： # 嵌入式系统设计 # Python俱乐部 部署 文章标签： 音视频 视频编解码 python
于 2024-08-07 14:14:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/twicave/article/details/140971837
版权

目录

1. 三方工具

2. 视频存储的实现 

2.1 分段存储 - 比如每15分钟

2.2 对齐到15分钟整边界

2.3 循环存储的实现 video_space_daemon.sh

3.封装

 3.1 主执行程序，修订版

3.2 创建服务 

3.3 service关联的执行脚本文件

4.额外的工作

附录A: ffmpeg视频存储，运行时错误处理 

1.运行ffmpeg存储视频时

1.1 处理

附录B 服务创建加载以及运行时异常处理 

1.service无法enable

1.1 处理

1. 三方工具

建议使用ffmpeg，这个工具多平台可用，命令行和API都有提供，非常便捷。下载的位置：

Download FFmpeg

我工作在debian环境，下载对应的源码后编译：

./configure

make

make install

2. 视频存储的实现 

2.1 分段存储 - 比如每15分钟

下面的脚本里 MIN_PER_FILE控制的是每个视频文件的最大尺寸

#usage: video_recorder <video_file_path> <min_per_file> <rtsp_path>
RTSP_URL_WITH_PASSWORD='rtsp://admin:xxxx@192.168.0.6:554/Streaming/Channels/101?transportmode=unicast&amp;profile=Profile_1'
MIN_PER_FILE=03
VIDEO_FILE_PATH='/tmp/video/' #include postfix
mkdir -p $VIDEO_FILE_PATH
ffmpeg -rtsp_transport tcp -i $RTSP_URL_WITH_PASSWORD -c:v libx265 -preset fast -crf 28 -t 00:$MIN_PER_FILE:00 $VIDEO_FILE_PATH$(date +"%Y%m%d%H%M%S").mp4

这个命令执行时因为环境的原因，可能会提示错误，我这边的一个纠错参见附录A,正确调用后：

Output #0, mp4, to '/tmp/video/20240807094508.mp4':
  Metadata:
    title           : Media Presentation
    encoder         : Lavf61.1.100
  Stream #0:0: Video: hevc (hev1 / 0x31766568), yuvj420p(pc, bt709, progressive), 1920x1080, q=2-31, 10 fps, 10240 tbn
      Metadata:
        encoder         : Lavc61.3.100 libx265
      Side data:
        cpb: bitrate max/min/avg: 0/0/0 buffer size: 0 vbv_delay: N/A
frame= 1555 fps= 10 q=31.9 size=   12288KiB time=00:02:35.30 bitrate= 648.2kbits/s speed=   1x 

估算，最终的视频文件尺寸，单通道.h265大概每15分钟45~50MBytes.

2.2 对齐到15分钟整边界

虽然命令行已经提供了分段存储，比如15分钟一个文件的功能，但是它没有对齐到15分钟整边界，可以看到这个逻辑。注意那个重启视频录制进程的工作使用systemctl的语法来实现的，这个在第3节封装部分会引入。

#!/bin/bash

# 获取传递的参数数量
num_args=$#

if [ $num_args -ne 1 ]; then
    echo "usage: $0 <chIdxbase1>"
    exit 1
else
    CHIDX_BASE1=$(printf "%02d" "$1")
fi


# 变量
SERVICE_NAME="guide_video_storage_ch"$CHIDX_BASE1

# 获取当前时间的秒数
now=$(date +%s)

# 获取当前分钟数和秒数
minute=$(date +%M)
second=$(date +%S)
minute=$(echo $minute | sed 's/^0*//')  # 移除前导0
second=$(echo $second | sed 's/^0*//')  # 移除前导0


# 计算最近 15 分钟整边界
remainder=$((minute % 15))
if (( remainder == 0 && second == 0 )); then
  target_time=$now
  echo $target_time
else
  if (( remainder == 0 )); then
    # 当前时间在整边界时刻，但秒数不为0
    target_time=$((now + (60 - second)))
    echo $target_time
  else
    # 计算下一个整边界的时间
    next_minute=$(( (minute + (15 - remainder)) % 60 ))
    next_hour=$(date +%H)
    if ((minute + (15 - remainder) >= 60)); then
      next_hour=$(echo $next_hour | sed 's/^0*//')  # 移除前导0
      next_hour=$(( (next_hour + 1) % 24 ))
    fi

    # 计算目标时间
    target_time=$(date -d "$next_hour:$next_minute:00" +%s)
    echo $target_time
  fi
fi

# 计算需要等待的秒数
seconds_to_wait=$((target_time - now))

# 输出等待时间
echo "等待 $seconds_to_wait 秒"
sleep $seconds_to_wait

#重启脚本
sudo systemctl restart $SERVICE_NAME

2.3 循环存储的实现 video_space_daemon.sh

为了防止出现磁盘快速磨损，使用了回差的概念。

#!/bin/bash

VIDEO_FILE_PATH='/tmp/video/' #include postfix
mkdir -p $VIDEO_FILE_PATH

CH_CNTS=5
DIRECTORY=$VIDEO_FILE_PATH
MAX_SIZE_MB=$((50*$CH_CNTS))
CTRL_SIZE_MB=$(awk "BEGIN {print $MAX_SIZE_MB * 0.8}")
TEMP_FILE="/tmp/file_sizes.txt"

# 计算目录中所有文件的总大小
total_size=$(du -sm "$DIRECTORY" | cut -f1)

# 如果总大小超过最大允许值
if [ "$total_size" -gt "$MAX_SIZE_MB" ]; then
  # 列出文件大小和路径，按时间排序（最旧的文件在前）
  find "$DIRECTORY" -type f -printf '%T+ %s %p\n' | sort | awk '{print $2, $3}' > "$TEMP_FILE"
  
  # 删除最旧的文件，直到总大小低于 90MB
  while [ "$total_size" -gt "$CTRL_SIZE_MB" ]; do
    oldest_file=$(head -n 1 "$TEMP_FILE" | awk '{print $2}')
    file_size=$(head -n 1 "$TEMP_FILE" | awk '{print $1}')
    
    # 删除文件
    rm "$oldest_file"
    
    # 更新总大小
    total_size=$((total_size - file_size / 1024 / 1024))
    
    # 重新列出文件
    tail -n +2 "$TEMP_FILE" > "$TEMP_FILE.tmp" && mv "$TEMP_FILE.tmp" "$TEMP_FILE"
  done
  
  # 删除临时文件
  rm "$TEMP_FILE"
fi

3.封装

因为视频源可能会出问题，所以需要有看护程序，最终使用Service来处理进程的遇错自动重启。然后用一个看护程序，来对齐到15分钟整边界。这里有全部的代码：

 3.1 主执行程序，修订版

#!/bin/bash
#usage: gpVideoRecorder <video_file_path> <min_per_file> <rtsp_path> <chIdxbase1>


# 函数：确保目录路径以斜杠结尾
ensure_trailing_slash() {
    local dir=$1
    if [[ "$dir" != */ ]]; then
        echo "${dir}/"
    else
        echo "$dir"
    fi
}

# 获取传递的参数数量
num_args=$#

if [ $num_args -eq 0 ]; then
    VIDEO_FILE_PATH='/tmp/video/' #include postfix
    MIN_PER_FILE=03
    RTSP_URL_WITH_PASSWORD='rtsp://admin:xxxxx@192.168.0.6:554/Streaming/Channels/101?transportmode=unicast&amp;profile=Profile_1'
    CH_STR="ch"$(printf "%02d" "0")_
elif [ $num_args -ne 4 ]; then
    echo "usage: $0 <video_file_path> <min_per_file> <rtsp_path> <chIdxbase1>"
else
    VIDEO_FILE_PATH=$1
    MIN_PER_FILE=$2
    RTSP_URL_WITH_PASSWORD=$3
    CH_STR="ch"$(printf "%02d" "$4")_
fi

# 确保目录存在
mkdir -p $VIDEO_FILE_PATH
# 确保目录路径以斜杠结尾
VIDEO_FILE_PATH=$(ensure_trailing_slash "$VIDEO_FILE_PATH")/

echo $VIDEO_FILE_PATH$CH_STR$(date +"%Y%m%d%H%M%S").mp4
ffmpeg -rtsp_transport tcp -i $RTSP_URL_WITH_PASSWORD -c:v libx265 -preset fast -crf 28 -t 00:$MIN_PER_FILE:00 $VIDEO_FILE_PATH$CH_STR$(date +"%Y%m%d%H%M%S").mp4

3.2 创建服务 

#!/bin/bash

# 获取传递的参数数量
num_args=$#

if [ $num_args -ne 1 ]; then
    echo "usage: $0 <chIdxbase1>"
    exit 1
else
    # 使用 printf 将数字格式化为两位数
    CHIDX_BASE1=$(printf "%02d" "$1")
fi


# 变量
PROGRAM_DIR="/etc/program"
SERVICE_NAME="guide_video_storage_ch"$CHIDX_BASE1
SERVICE_FILE="/etc/systemd/system/${SERVICE_NAME}.service"
#service_name lookslike guide_video_storage_ch01


# 1. 创建目录
if [ ! -d "$PROGRAM_DIR" ]; then
    echo "创建目录 $PROGRAM_DIR"
    sudo mkdir -p "$PROGRAM_DIR"
fi

# 2. 创建服务文件
echo "创建服务文件 $SERVICE_FILE"
cat <<EOL | sudo tee "$SERVICE_FILE"
[Unit]
Description=video streamer local storage service

[Service]
ExecStart=sudo -E /home/app/common/start_video_recording.sh $CHIDX_BASE1
Restart=always
RestartSec=5
User=root

[Install]
WantedBy=multi-user.target
EOL

# 3. 重新加载 systemd 配置
echo "重新加载 systemd 配置"
sudo systemctl daemon-reload

# 4. 启动服务
echo "启动服务 ${SERVICE_NAME}"
sudo systemctl start "${SERVICE_NAME}"

# 5. 设置服务开机启动
echo "设置服务开机启动"
sudo systemctl enable "${SERVICE_NAME}"

echo "服务 ${SERVICE_NAME} 创建并启动完成。"

3.3 service关联的执行脚本文件

因为service不支持同时启动多个命令，所以要有这个.sh，注意那个背景进程的消灭。理论上不这样做也可以。毕竟视频文件截断的动作是从video_split_daemon.sh发出的。

#这里会对齐至整边界
sudo /home/app/common/video_split_daemon.sh 5&
# 获取 p1 的进程 ID
SPLIT_PID=$!

#space_dameon只执行一次无需关心
sudo /home/app/common/video_space_daemon.sh &

#这里的文件记录长度可以略长(注意rtsp的用户名密码的规则：)
sudo /home/app/common/gpVideoRecorder /tmp/video 30 'rtsp://admin:a1234567@192.168.0.6:554/Streaming/Channels/101?transportmode=unicast&amp;profile=Profile_1' 5

# 在脚本退出时终止后台进程 p1
trap 'kill $SPLIT_PID' EXIT

 注意最终的那个调用需要是个阻塞命令。

3.4 整个环境运行时的截屏

上面刚经历过一次重启，时间是从xx:45开始的，对齐到45分整边界，视频文件列表：
 

切换前列表切换后

能看到循环存储已经生效。 所有的可执行文件列表：

4.额外的工作

在实际使用时，至少还有如下工作要做：

  • json配置文件解析和开机boot
  • mqtt远程命令执行接口
  • 状态信息redis缓存

这个环节不再赘述。

附录A: ffmpeg视频存储，运行时错误处理 

1.运行ffmpeg存储视频时

Unrecognized option 'preset'.
Error splitting the argument list: Option not found

1.1 处理

  1.  检查是x265编码器可能没有装
  2. ./configure --enable-libx265 --enable-libx264 --disable-x86asm --enable-gpl --pkg-config="pkg-config --static"
    1. 提示：ERROR: x264 not found using pkg-config
  3. sudo apt install pkg-config
  4. sudo apt install libx264-dev
  5. sudo apt install libx265-dev
  6. ./configure --enable-libx265 --enable-libx264 --disable-x86asm --enable-gpl
  7. make
  8. make install

2.ffmpeg存储的视频无法播放

2.1 处理

  1. ffmpeg在保存视频时，如何未来可能会被截断，则命令行建议不要添加时长-t的标记。
  2. 在需要中途停止时，使用kill -2 pid_of_ffmpeg，让ffmpeg进行视频文件的扫尾。

注意，上面的脚本中没有进行相关处理，注意补上。

附录B 服务创建加载以及运行时异常处理 

1.service无法enable

Failed to enable unit: Unit file /etc/systemd/system/guide_video_storage_ch05.service is masked.

1.1 处理

在更新.service前，一定记得要先disable。如果出现mask:

sudo systemctl unmask guide_video_storage_ch05

sudo systemctl stop guide_video_storage_ch05

sudo systemctl disable guide_video_storage_ch05

子正
关注
  • 29
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ffmpeg的解码过程
yinshipin007的博客
04-08 2122
上面步骤结束后，就可以调用API。
基于FFMPEG+JSMPEG+Nodejs的web流媒体方案
Robin's Home
04-08 1万+
本次介绍一种方案：基于FFMPEG+JSMPEG+Nodejs的web流媒体方案。 通过本方案可以轻松实现摄像头监控视频的web显示。本文以海康威视摄像头为例， 型号为DS-2CD2055， 需要将此摄像头的实时图像在web页面上实时显示。 同时介绍了在windows和Linux ubuntu18 下安装FFMPEG，JSMPEG，Nodejs的步骤
ffmpeg在windows的简单应用
weixin_45459648的博客
05-14 971
在文件夹路径下打开CMD转码过程。
【编解码】记录一个ffmpeg解码生成YUV的 color range 问题，以及video_full_range_flag用法。
YoYo的桃子树
05-12 6329
ffmepg解码为什么导致视频质量评分下降？ 有哪些参数要调整，快速提高PSNR和VMAF分数！
libx264在VS2013中编译
音视频技术之路QQ_1695710968
08-07 1338
libx264最新版本已经没有VS工程了，下载以前版本有VS工程，可以编译成功。libx264里面有部分汇编代码，采用的编译器是YASM，所以首先要把YASM集成到VS2013中。下面记录一下编译中遇到的问题。编译环境VS2013&amp;&amp;WIN10。 1.卸载系统中YASM。搜索系统中的yasm.exe,yasm.props,yasm.xml,yasm.targetsvsyasm.e...
HTML5 通过Vedio标签实现视频循环播放的示例代码
11-20
当视频播放结束时，通过监听`ended`事件，可以判断是否到达最后一个视频，如果已播放到最后，将重新从第一个视频开始播放，实现循环播放。 JavaScript代码可能如下： ```javascript var myVideo = document....
OpenCV+VC6.0实现的摄像头视频分段存储和调用
08-08
在这个“OpenCV+VC6.0实现的摄像头视频分段存储和调用”项目中，我们将探讨如何使用OpenCV在C++环境下通过Visual C++ 6.0开发工具来实现摄像头视频的捕获、分段存储以及后续的调用播放。 首先，要实现摄像头视频的...
基于嵌入式Linux的视频循环录制系统.pdf
04-23
- 视频循环录制系统的原理，包括视频采集、编码和循环存储的方法。 - 视频文件格式AVI的相关知识，及其在跨平台环境中的应用。 - 开发环境的搭建方法，如内核配置、驱动安装、交叉编译等。 这类系统的关键在于能够...
VideoView实现视频无缝连续播放
08-27
实现视频的无缝连续播放需要使用VideoView组件、setOnCompletionListener监听器、MediaController组件、视频文件的存储和读取、静态变量、Exception的捕获和处理、Toast的使用等技术。通过本文的示例代码，可以了解...
网络视频存储服务器的工作原理介绍.pdf
06-03
网络视频存储服务器的工作原理结合了先进的图像处理、网络通信和存储技术，实现了监控系统的远程监控、实时响应和高效管理。随着物联网、人工智能等新技术的发展，网络视频存储服务器的功能将会更加智能化和自动化，...
ffmpeg/avconv 使用 vaapi 的一些测试记录
a1522278452的博客
11-03 8272
ffmpeg -hwaccel vaapi -i h264_100fps.h264 -vcodec h264_vaapi output.yuv Input #0, h264, from 'h264_100fps.h264':   Duration: N/A, bitrate: N/A     Stream #0:0: Video: h264 (Main), yuvj420p(pc,
RTSP取流之海康威视
热门推荐
煎鸡蛋汤
03-04 10万+
预览取流url 从海康威视客服妹子处得到的rtsp取流url见下面的短信： 【海康威视】举例说明： 主码流取流: rtsp://admin:12345@192.0.0.64:554/h264/ch1/main/av_stream 子码流取流: rtsp://admin:12345@192.0.0.64:554/h264/ch1/sub/av_stream 如...
FFMPEG利用代码实现简单的录屏功能
最新发布
RourkeLi的博客
05-26 815
在将封装后的音视频流写入文件时，我使用了两个线程，本来计划在各自的线程统计下一帧的时间戳，通过比较，将时间戳靠前的音频或视频帧写入文件。实现过程中，发现可以不做这一步处理，哪个线程抢占到输出上下文，正常写入即可。之前有利用FFMPEG封装过摄像头采集的图像，也封装过音频设备采集的数据，录屏其实只需要更换音视频的输入源即可。关于音频重采样部分的代码，我做了简单的封装，这部分的功能相对独立，提出来方便理解整体思路。主要的代码如下所示，其实和之前的封装代码有很多类似的地方，主要是将两个采集流程理清楚。
python+ffmpeg 获取rtsp码流的I帧间隔
es15071848238的博客
12-09 4012
测试的小伙伴们应该了解过，获取I帧间隔的方法： 1. 录制H264码流，然后使用雷神的H264分析工具来查看I帧间隔，这个方法比较直观，可以查看详细的编码信息，但是需要录制码流，用起来不是那么便捷，而且我们这些非研发的小白也不懂这些编码代表啥，我们只是想知道I帧间隔是多少，于是就有了我自创的方法2 2. 使用 python+ffmpeg 获取rtsp码流的I帧间隔，我们知道ffplay可以实时预览rtsp码流，百度一番之后，发现也可以完成I帧间隔的获取。大家可以自行到ffmpeg官网FFMpeg..
x264的命令行参数
NB_vol_1的专栏
10-27 2648
x264的命令行参数 x264 core:148 Syntax: x264 [options] -o outfile infile   Infile can be raw (in which case resolution is required),   or YUV4MPEG (*.y4m),   or Avisynth if compiled with support 
VideoFileClip 获取视频报错、
a_Loki的博客
05-10 2992
报错内容： OSError: MoviePy error: failed to read the duration of file /mnt/data/test/monitor/videos/new_video/1652063723941.mkv. Here are the file infos returned by ffmpeg: ffmpeg version 4.2.2-static https://johnvansickle.com/ffmpeg/ Copyright (c) 2000-2019.
使用FFmpeg + nginx + flv.js 实现RTSP格式视频流在web网页进行播放
rushichunqiu的博客
07-17 6023
近期，出于项目需要，要求支持web网页播放RTSP格式的监控视频。因之前并没有相关的项目经验及技术积累。并且H5中的video默认并不支持RTSP格式的视频播放，接下来花了一周时间，都在进行调研和实践网上搜到的方案。 1、vlc插件 + video标签 起初，找到的实现方式，是利用第三方插件，vlc播放器或者在谷歌浏览器上安装vlc视频插件的方案。在实践过程中发现，该方案，依赖于谷歌浏览器支持NPAPI插件。谷歌浏览器目前已经不知道该插件，即使后来费了很多时间在网上找谷歌浏览器40-44版本，尝试进行播
写一个帧缓存用于循环存储音视频
06-09
下面是一个简单的帧缓存实现，用于循环存储音视频帧： ```c #include #include #define FRAME_BUFFER_SIZE 100 // 定义一个帧缓存结构体 typedef struct { int head; // 缓存头部指针 int tail; // 缓存尾部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

子正

thanks, bro...

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值