针对新闻、专题(如人物介绍、装备介绍)等视频,可从一段视频中提取出视频帧、关键帧,生成图片;针对关键帧,可提取出字幕信息,并转换成文字。
项目 | 视频检索软件要求 |
---|---|
1 | 具有解析视频为连续视频帧、采样视频帧的功能; |
2 | 给出关键帧在视频帧中的位置; |
3 | 将关键帧或者视频帧按照需求保存为bmp,jpg,png格式; |
4 | 在保存的关键帧或视频帧图像中定位出字幕的位置,并将字幕转换成文字输出,关键帧字幕定位的准确率>=75%,关键帧字幕转文字的精准率>=75%. |
一、具有解析视频为连续视频帧、采样视频帧的功能;
传入的视频一般有MP4、AVI格式等、打算利用OpenCV来将一段在网上随意下载的视频解析成图像帧,视频的格式可以是MP4、AVI格式等。
由于技术要求:解析视频为连续帧、采样视频帧,并没有具体说明采样视频帧的间隔,因此设计程序是应输入视频和采样帧的间隔来做。采样帧的间隔为1时,输出的是连续帧;若为大于1时,输出的是采样帧。
1.读取视频文件
string file_name=("video1.mp4");
VideoCapture capture(file_name);
//创建frame图像
Mat frame;
capture >> frame;
2.把视频解析为连续帧
string file_name=("video1.mp4");
VideoCapture capture(file_name);
//创建frame图像
Mat frame;
capture >> frame;
//定义帧号
int imgIndex = 0;
while (!frame.empty())
{
string output = to_string(imgIndex) + ".jpg";
imwrite(output, frame);
imgIndex++;
//把视频帧像素传入frame
capture >> frame;
}
3.由于需要采样,不能每帧都写入
使用if满足条件就写入,不满足的跳过
把下面程序替换成imwrite(output, frame);
if (imgIndex % interval == 0) {
//第一个参数是写入的文件名,第二个参数是Mat类型的图像数据。
imwrite(output, frame);
}
4.由于不可能只输入一个视频,因此如果输入不同的视频文件是需要重新创建文件夹,我是根据视频名字来创建名叫file_name
的文件夹
例如视频名叫video1.mp4
或者输入视频路径E:/vs2017/mp4转jpg/mp4转jpg/video1.mp4
需要创建一个文件夹video1
//创建名叫video1的文件夹
string dirname = (file_name);
int video_name_lenth = dirname.size();
string video_name = dirname.substr(0, video_name_lenth - 4);
bool flag = CreateDirectory(video_name.c_str(), NULL);
6.把上面的程序重新整合成一个函数:
void sample_capture(const char *file_name, int interval)
{
VideoCapture capture(file_name);
int imgIndex = 0;
//创建名叫video1的文件夹
string dirname = (file_name);
int video_name_lenth = dirname.size();
string video_name = dirname.substr(0, video_name_lenth - 4);
bool flag = CreateDirectory(video_name.c_str(), NULL);
Mat frame;
capture >> frame;
while (!frame.empty()) {
//string output = "E:/vs2017/mp4转jpg/mp4转jpg/video1/" + to_string(imgIndex) + ".jpg";
string output = video_name + "/" + to_string(imgIndex) + ".jpg";
//string output = to_string(imgIndex) + ".jpg";
if (imgIndex % interval == 0) {
//第一个参数是写入的文件名,第二个参数是Mat类型的图像数据。
imwrite(output, frame);
}
imgIndex++;
capture >> frame;
}
}
二、给出关键帧在视频帧中的位置;
刚开始使用ffmpeg提取的关键帧具体方法在这:https://blog.csdn.net/T_T_T_T_/article/details/119905290?spm=1001.2014.3001.5501
但是我通过计算关键帧的位置发现ffmpeg的关键帧是按每5s提取一帧,这就不是我想要的关键帧了。ffmpeg提取的关键帧是编解码的关键帧不是我们项目中需要的关键帧,于是我就在网上找了个使用帧差法提取关键帧的具体操做:https://blog.csdn.net/T_T_T_T_/article/details/120161812?spm=1001.2014.3001.5501
三、将关键帧或者视频帧按照需求保存为bmp,jpg,png格式;
四、OCR文字识别;
由于本项目识别关键帧上的字幕,需要离线识别,因此在网上查找的好久没有找到合适的方法,最终找到了PaddleOCR,百度的一个开源库,具体用法参考之前的一篇文章OCR文字识别。