php 数据库查重,使用SimHash进行海量内容数据查重 - PHP版

工作当中我们有时候会遇到需要对用户上传的文件查重，根据重复度进行驳回还是要求用户重新上传；而且这个数据量对比有时候会很大，此时就比较适合用simhash来进行对比！！！

关于什么是simhash以及基础介绍可以看这个文章：https://blog.csdn.net/lengye7/article/details/79789206

本例使用语言：php5.3(Yaf)

mysql：5.7.2

现有需求：需要对用户上传的word/ppt/txt文件内容在库里进行对比，找出内容重复度比较高的文件

首先先确定分几步进行数据分析对比:

1. 读取用户上传的文件内容；

2. 根据SimHash算法进行数据分析对比；

既然是数据对比，那么肯定需要把不重复的数据存储起来，然后再拿出来和上传的文件内容对比，那么就需要有数据库来存储数据，结构如下：

数据执行simhash之后的值进行存储：

CREATE TABLE `tbl_resource_simhash` (

`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主建id',

`resource_id` int(11) NOT NULL DEFAULT '0' COMMENT '资源id',

`segment1` int(11) NOT NULL DEFAULT '0' COMMENT '块1',

`segment2` int(11) NOT NULL DEFAULT '0' COMMENT '块2',

`segment3` int(11) NOT NULL DEFAULT '0' COMMENT '块3',

`segment4` int(11) NOT NULL DEFAULT '0' COMMENT '块4',

`simhash` varchar(64) NOT NULL DEFAULT '0' COMMENT '哈希值',

PRIMARY KEY (`id`),

UNIQUE KEY `idx_resource_id` (`resource_id`) USING BTREE,

KEY `idx_segment1` (`segment1`) USING HASH,

KEY `idx_segment2` (`segment2`) USING HASH,

KEY `idx_segment3` (`segment3`) USING HASH,

KEY `idx_segment4` (`segment4`) USING HASH

) ENGINE=InnoDB AUTO_INCREMENT=760 DEFAULT CHARSET=utf8 COMMENT='公开资源哈希索引表';

文件资源信息表：

CREATE TABLE `tbl_resource` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT,

`name` varchar(255) NOT NULL DEFAULT '' COMMENT '文件名称',

`words` longtext CHARACTER SET utf8mb4 NOT NULL COMMENT '资源内容文字',

`status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '状态 0未进行审核 1审核通过 2审核未通过',

`md5_file` char(32) NOT NULL DEFAULT '' COMMENT '文件的md5值',

PRIMARY KEY (`id`),

KEY `idx_md5` (`md5_file`) U