使用CLIP模型实现视频剪辑

CLIP全称Constrastive Language-Image Pre-training，是OpenAI推出的采用对比学习的文本-图像预训练模型。可以提供对字符串和图像的tensor求cos，得到某张图片与不同字符串的相似度，从而实现文字与图像匹配。

​首先、我们需要求出视频的关键帧。若第n和第n+1帧的之间有明显差异（指差异大于某个预设值），说明两帧内容有较大变化，因而可以取第n+1帧为关键帧。

​其次，本地部署CLIP模型。部署后对提示词和图像embedding。生成tensor后，对他们求 余弦相似度。由于我使用的模型是输入多个提示词后，输出每个提示词的余弦相似性，且全部词语的相似性之和为1。因而需要预设一个提示词，用来与我们输入的提示词做对比。

​最后，输出相似性。根据相似性对关键帧进行排序，并且找出要截取的视频的起始帧和结束帧。确认起始帧和结束帧之后，使用cv2输出视频。