前言
最近在一台部署运行了近一年的服务器上发现了一个问题,用户上传的视频文件,在经过一系列的处理后,使用moviepy写文件时,会消耗非常长的时间,同时还占满了CPU内存资源,使得其他请求无法处理。
排查问题
首先查看后台正在运行的命令,发现是ffmpeg正在处理视频,这是因为moviepy就是基于ffmpeg开发的python库,因此其中的视频处理操作的本质都是使用ffmpeg。
通过log分析,处理是卡在了写文件这一步,程序没有报错返回,但由于写文件占满了全部的CPU资源,因此其他用户的请求也无法处理。此外,因为系统已经使用了一年之久,不应该会出现低级问题。因此,我将怀疑点放在了当前处理的这一段视频文件上面。
我将怀疑的视频文件导出,与其他视频比较,并没有任何区别。但是用程序处理时,处理时间远大于其他视频。
确认问题并解决
moviepy
的write_videofile
方法,在视频处理部分调用了ffmpeg_write_video
,我将其中的参数打印出来后,发现帧率fps的异常,默认视频帧率为缺省值,即写出来的视频应与原始视频一致。但这一段特殊的视频,ffmpeg检测其帧率竟然为900000!要知道,通常用户上传的视频帧率都在20-30之间。写一段90万帧的视频,当然会耗尽CPU资源了。
解决思路是获取一下原始视频的帧率,然后在写视频时指定该帧率。这里利用了opencv提供的方法。
# 使用opencv获取视频的帧率
source_video = cv2.VideoCapture(source_file)
fps = source_video.get(cv2.CAP_PROP_FPS)
# 使用moviepy实例化视频
source_video = VideoFileClip(source_file)
# 在写文件时,指定输出帧率
video.write_videofile(target_file, fps=fps)
# 释放占用
source_video.close()
这样写视频就不会异常占满CPU资源了。