视频智能检索技术服务项目

针对新闻、专题（如人物介绍、装备介绍）等视频，可从一段视频中提取出视频帧、关键帧，生成图片；针对关键帧，可提取出字幕信息，并转换成文字。

项目	视频检索软件要求
1	具有解析视频为连续视频帧、采样视频帧的功能；
2	给出关键帧在视频帧中的位置；
3	将关键帧或者视频帧按照需求保存为bmp,jpg,png格式；
4	在保存的关键帧或视频帧图像中定位出字幕的位置，并将字幕转换成文字输出，关键帧字幕定位的准确率>=75%,关键帧字幕转文字的精准率>=75%.

一、具有解析视频为连续视频帧、采样视频帧的功能；

传入的视频一般有MP4、AVI格式等、打算利用OpenCV来将一段在网上随意下载的视频解析成图像帧，视频的格式可以是MP4、AVI格式等。
由于技术要求：解析视频为连续帧、采样视频帧，并没有具体说明采样视频帧的间隔，因此设计程序是应输入视频和采样帧的间隔来做。采样帧的间隔为1时，输出的是连续帧；若为大于1时，输出的是采样帧。
1.读取视频文件

string file_name=("video1.mp4");
VideoCapture capture(file_name);
//创建frame图像
Mat frame;
capture >> frame;

2.把视频解析为连续帧

string file_name=("video1.mp4");
VideoCapture capture(file_name);
//创建frame图像
Mat frame;
capture >> frame;
//定义帧号
int imgIndex = 0;
while (!frame.empty())
{
    string output = to_string(imgIndex) + ".jpg";
	imwrite(output, frame);	
	imgIndex++;
	//把视频帧像素传入frame
	capture >> frame;
}

3.由于需要采样，不能每帧都写入
使用if满足条件就写入，不满足的跳过
把下面程序替换成imwrite(output, frame);

if (imgIndex % interval == 0) {
	//第一个参数是写入的文件名，第二个参数是Mat类型的图像数据。
	imwrite(output, frame);
}

4.由于不可能只输入一个视频，因此如果输入不同的视频文件是需要重新创建文件夹，我是根据视频名字来创建名叫file_name的文件夹
例如视频名叫video1.mp4或者输入视频路径E:/vs2017/mp4转jpg/mp4转jpg/video1.mp4
需要创建一个文件夹video1

//创建名叫video1的文件夹
	string dirname = (file_name);
	int video_name_lenth = dirname.size();
	string video_name = dirname.substr(0, video_name_lenth - 4);
	bool flag = CreateDirectory(video_name.c_str(), NULL);

6.把上面的程序重新整合成一个函数：

void sample_capture(const char *file_name, int interval)
{
	VideoCapture capture(file_name);
	int imgIndex = 0;
	//创建名叫video1的文件夹
	string dirname = (file_name);
	int video_name_lenth = dirname.size();
	string video_name = dirname.substr(0, video_name_lenth - 4);
	bool flag = CreateDirectory(video_name.c_str(), NULL);

	Mat frame;
	capture >> frame;
	while (!frame.empty()) {
		//string output = "E:/vs2017/mp4转jpg/mp4转jpg/video1/" + to_string(imgIndex) + ".jpg";
		string output = video_name + "/" + to_string(imgIndex) + ".jpg";
		//string output = to_string(imgIndex) + ".jpg";
		
		if (imgIndex % interval == 0) {
			//第一个参数是写入的文件名，第二个参数是Mat类型的图像数据。
			imwrite(output, frame);
		}
		imgIndex++;
		capture >> frame;
	}
}

二、给出关键帧在视频帧中的位置；

刚开始使用ffmpeg提取的关键帧具体方法在这：https://blog.csdn.net/T_T_T_T_/article/details/119905290?spm=1001.2014.3001.5501
但是我通过计算关键帧的位置发现ffmpeg的关键帧是按每5s提取一帧，这就不是我想要的关键帧了。ffmpeg提取的关键帧是编解码的关键帧不是我们项目中需要的关键帧，于是我就在网上找了个使用帧差法提取关键帧的具体操做：https://blog.csdn.net/T_T_T_T_/article/details/120161812?spm=1001.2014.3001.5501

三、将关键帧或者视频帧按照需求保存为bmp,jpg,png格式；

四、OCR文字识别；

由于本项目识别关键帧上的字幕，需要离线识别，因此在网上查找的好久没有找到合适的方法，最终找到了PaddleOCR，百度的一个开源库，具体用法参考之前的一篇文章OCR文字识别。