mysql 自动生成crc32_MySQL crc32 & crc64函数 提高字符串查询效率

一、概念：CRC全称为Cyclic Redundancy Check，又叫循环冗余校验。CRC32是CRC算法的一种，常用于校验网络上传输的文件。

二：MySQL里如何利用CRC32来加快查询？？？

CRC32的基本特征：

#1.CRC32函数返回值的范围是0-4294967296(2的32次方减1)

#2.相比MD5，CRC32函数很容易碰撞

CRC32的使用场景：

由上述两个基本特性可知，MySQL CRC32 生成整型结果使用用bigint存储，而MD5需要varchar来存储。但是CRC32很容易碰撞，这适合做索引么？

场景：我们在做一个爬虫，对于一个URL，先去数据库里查询是否存在，如果不存在，插入到数据库中。大家都知道这种类型应用表会增长非常迅速，如果简单的SELECT * FROM urls WHERE url = 'http://wwww.shopperplus.com';

会每次全表扫描，效率非常低。如果在url列上面加索引会快一些，但由于url是varchar类型，字段本身的存储空间和索引占用的存储空间都比较大。

如果加一个crc32_url列，并且只在这个列上加索引，索引空间就会小很多,并使用整型加速查询速度避免字符串url全表扫描。SELECT * FROM urls WHERE crc_url = 907060870;

上面这种做法一定不可以，因为前面已经提到crc32函数会产生碰撞，也就是说值为907060870的不止有hello。一个小技巧是只使用crc32列来过滤：SELE