解决md5摘要长度过长问题

信息摘要长度问题

---

问题描述

大量信息需要存入数据库，每条信息需要生成一个唯一的ID

尝试方法

1. 考虑使用md5摘要，但是摘要长度大于64 bits
2. 考虑使用python的内置函数hash，但是生成的hash值可能为负数

解决办法

FNV hash

FNV hash 是一种短hash，适用于快速hash大量数据，高度分散的特性使得它在分散近似字符串方面有较好的效果，hash位数灵活，可自定义
FNV按不同hash位数和算法顺序分为多个版本，大体框架相似

工具与实现

python实际实现效率偏低，非hash位数需要自定义的时候不推荐手动实现，而且不建议python实现
类库pyhash和fnvhash，推荐前者

  pip install pyhash

误点

1. 安装时需要先安装python-devel，否则报错
2. 使用时注意需要先生成对象
   

   import pyhash
   hasher = pyhash.fnv1_32()
   hash_value = hasher("Hello")