浅析UGC视频去重算法

在以UGC(User Generated Content 用户原创内容)业务为主的视频网站中，每天都有大量的视频被上传。用户上传的视频有数量大、重复视频多的特点，特别是一些热点视频会同时有多个用户上传。这样会导致搜索或者推荐结果中出现大量重复视频。如何识别出这些相同内容的视频，为用户提供更好的搜索和推荐体验，是一个需要解决的问题。

 下面介绍几种识别相同视频的方法：

一、视频文件md5值去重

每个视频文件里都保存有一个md5值，可以认为是这个视频文件的基因。在视频文件上传的时候可以对md5值进行检测，相同md5的视频是同一视频，可以赋予相同的fid。在以UGC为主的视频网站里通过这种方法可以识别出大量的重复视频。这种方法的不足之处是视频文件一经转码后md5值就会变化，无法处理一些用户刻意把视频转码后再上传的情况。

二、根据视频的文本信息进行去重

用户在上传视频时会生成 标题、描述和标签等文本信