超好用的图像查重模块dedup（基于图像感知相似度算法的图像查重去重）

scient

scient一个用python实现科学计算相关算法的包，包括自然语言、图像、神经网络、优化算法、机器学习、图计算等模块。

scient源码和编译安装包可以在Python package index获取。

The source code and binary installers for the latest released version are available at the [Python package index].

https://pypi.org/project/scient

可以用pip安装scient。

You can install scient like this:

pip install scient

也可以用setup.py安装。

Or in the scient directory, execute:

python setup.py install

scient.image

图像相关算法模块，包括边缘检测、图像相似度计算、图像质量评价、图像特征提取等。

scient.image.dedup

图像查重去重模块，包括基于图像感知相似度算法的查重去重。

scient.image.friqa.Hash(hash_func:Callable=hash.percept,dist_func:Callable=distance.hamming,process_func:Callable=None,
			            threshold:int=10,scale:Tuple[int,int]=None,hash_size:int=64,hash_hex:bool=False,
			            errors:Literal['ignore','raise','coerce']='raise',
			            suffix:Union[str,List[str]]=['JPEG', 'PNG', 'BMP', 'MPO', 'PPM', 'TIFF', 'GIF', 'WEBP', 'JPG'],
			            n_worker:int=cpu_count())

Parameters

• hash_func : Callable, optional
  hash函数. The default is hash.percept.
• dist_func : Callable, optional
  距离度量函数. The default is distance.hamming.
• process_func : Callable, optional
  图像预处理函数，如果为空，采用self.process. The default is None.
• threshold : int, optional
  图像重复的判断阈值，根据dist_func计算距离，若距离小于threshold，判断为重复图像. The default is 10.
• scale : Tuple[int,int], optional
  self.process中对图像进行缩放的参数. The default is None.
• hash_size : int, optional
  hash值长度. The default is 64.
• hash_hex : bool, optional
  hash_func是否转成16进制，转成16进制可以节省存储空间. The default is False.
• errors : str, optional
  图像加载/查重错误时的处理方式，可选值为[‘ignore’,‘raise’,‘coerce’],'ignore’忽略文件,'raise’抛出异常,'coerce’强制转成空图像,. The default is ‘raise’.
• suffix : str or list, optional
  可以处理的图像文件后缀名, 不区分大小写. The default is [‘JPEG’, ‘PNG’, ‘BMP’, ‘MPO’, ‘PPM’, ‘TIFF’, ‘GIF’, ‘WEBP’, ‘JPG’].
• n_worker : int, optional
  并行处理进程数. The default is cpu_count().

Returns

None

Algorithms

图像感知相似度算法的原理参见：python计算图像感知相似度（PHash Sim）实例

基础用法

dedup.Hash针对文件、文件夹、压缩包分别提供了两种查重方法：

操作对象	查找与指定图像相似的图像	在指定范围内查找相似的图像
文件列表	find_dup_from_files(file,files)	find_dup_in_files(files,score:Dict=None)
文件夹	find_dup_from_folder(file,path:str)	find_dup_in_folder(path:str,score:Dict=None)
压缩包	find_dup_from_archive(file,path,mode=‘zipfile’)	find_dup_in_archive(path,score=None,mode=‘zipfile’)

• file: 指定图像的路径
• files: 待查重文件路径列表
• path: 待查重的文件夹/压缩包路径
• score: 图像评分，类型为字典，如果提供了score，将按照score从大到小开始查重，如果某个图像与score较大的图像相似，将不再计算其它图像是否与该图像相似。
• mode: 压缩包格式，支持zipfile和tarfile

Examples

import os
import numpy
from scient.image import dedup
data_path=os.path.join(os.path.dirname(dedup.__file__),'../test/data')

if __name__=='__main__':
    images=[os.path.join(data_path,i) for i in os.listdir(data_path) if i.endswith('.bmp') or i.endswith('.png') or i.endswith('.JPEG') or i.endswith('.jpg')]
    ref_image=data_path+'/I10.BMP'

    dedup_task=dedup.Hash()

    #find_dup_from_files
    dedup_task.find_dup_from_files(file=ref_image,files=images)
	#find_dup_in_files
    dedup_task.find_dup_in_files(files=images)
	#find_dup_in_files score
    score={i:numpy.random.randint(0,10) for i in images}
    dedup_task.find_dup_in_files(files=images,score=score)

	#find_dup_from_folder
    dedup_task.find_dup_from_folder(file=ref_image,path=data_path)
	#find_dup_in_folder
    dedup_task.find_dup_in_folder(path=data_path)

	#find_dup_from_archive zipfile
    dedup_task.find_dup_from_archive(file=data_path+'/ILSVRC2012_val_00020553.JPEG',path=data_path+'/imagewoof_train.zip',mode='zipfile')
	#find_dup_from_archive tarfile
    dedup_task.find_dup_from_archive(file=data_path+'/ILSVRC2012_val_00010420.JPEG',path=data_path+'/imagewoof_val.tar.gz',mode='tarfile')
	#find_dup_in_archive tarfile
    dedup_task.find_dup_in_archive(path=data_path+'/imagewoof_val.tar.gz',mode='tarfile')

高级用法

文件编码

操作对象	编码
文件	encode(image:numpy.ndarray)
文件列表	encode_files(files:List)
文件夹	encode_folder(path)
压缩包	encode_archive(path,mode=‘zipfile’)

对编码后的文件进行查重

操作对象	查找与指定图像相似的图像	在指定范围内查找相似的图像
编码字典	find_dup_from_map(encode,encode_map:Dict=None)	find_dup_in_map(encode_map:Dict,score:Dict=None)

Examples

import os
import numpy
from scient.image import dedup
data_path=os.path.join(os.path.dirname(dedup.__file__),'../test/data')

if __name__=='__main__':
    images=[os.path.join(data_path,i) for i in os.listdir(data_path) if i.endswith('.bmp') or i.endswith('.png') or i.endswith('.JPEG') or i.endswith('.jpg')]
    ref_image=data_path+'/I10.BMP'

    dedup_task=dedup.Hash()

    #encode file
    encode=dedup_task.encode_file(ref_image)
    #encode files
    encode_map=dedup_task.encode_files(images)
    #encode folder
    dedup_task.encode_folder(data_path)
    #encoder archive
    dedup_task.encode_archive(data_path+'/imagewoof_train.zip',mode='zipfile')

    #find_dup_from_map
    dedup_task.find_dup_from_map(encode,encode_map)
    #find_dup_in_map
    dedup_task.find_dup_in_map(encode_map)