[老生常谈]哈希算法—php最经典算法time33

最新推荐文章于 2023-10-05 21:12:56 发布

小入门

最新推荐文章于 2023-10-05 21:12:56 发布

阅读量796

点赞数

分类专栏： php 文章标签： php

原文链接：http://ishare.58corp.com/articleDetail?id=74

版权

php 专栏收录该内容

57 篇文章 4 订阅

订阅专栏

hash在开发中经常用到，而现在time33算是最流行的哈希算法。

哈希(Hash)

Hash，一般翻译做“散列”，也有直接音译为”哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。

简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。

目前普遍采用的哈希算法是time33，又称DJBX33A (Daniel J. Bernstein, Times 33 with Addition)。这个算法被广泛运用于多个软件项目，Apache、Perl和Berkeley DB等。对于字符串而言这是目前所知道的最好的哈希算法，原因在于该算法的速度非常快，而且分类非常好(冲突小，分布均匀)。

PHP内核就采用了time33算法来实现HashTable，来看下time33的定义：

算法：对字符串的每个字符，迭代的乘以33

原型: hash（i） = hash（i-1）*33 + str[i] ;

在使用时，存在一个问题，对相似的字符串生成的hashcode也类似，有人提出对原始字符串，进行MD5，然后再计算hashcode。

function myHash($str) {
// hash(i) = hash(i-1) * 33 + str[i]
$hash = 0;
$s = md5($str);
$seed = 5;
$len = 32;
for ($i = 0; $i < $len; $i++) {
// (hash << 5) + hash 相当于 hash * 33
//$hash = sprintf("%u", $hash * 33) + ord($s{$i});
//$hash = ($hash * 33 + ord($s{$i})) & 0x7FFFFFFF;
$hash = ($hash << $seed) + $hash + ord($s{$i});
}
return $hash & 0x7FFFFFFF;
}

事实上，在PHP内核也同样实现了HashTable并广泛应用，包括线程安全、全局变量、资源管理等基本上所有的地方都能看到它的身影。

不仅如此，在PHP脚本中数组（PHP的数组实质就是HashTable）也是被广泛使用的，例如数组形式的配置文件、数据库的查询结果等，可以说是无处不在。

那么既然PHP的数组使用率这么高，内部是如何实现的？它如何解决hash碰撞及实现均匀分布的？PHP脚本使用数组应该注意哪些？

下面就是这个哈希函数的具体代码实现：

static inline ulong zend_inline_hash_func(const char *arKey, uint nKeyLength)  
{  
     register ulong hash = 5381;  
  
     /* variant with the hash unrolled eight times */  
     for (; nKeyLength >= 8; nKeyLength -= 8) {  
          hash = ((hash << 5) + hash) + *arKey++;  
          hash = ((hash << 5) + hash) + *arKey++;  
          hash = ((hash << 5) + hash) + *arKey++;  
          hash = ((hash << 5) + hash) + *arKey++;  
          hash = ((hash << 5) + hash) + *arKey++;  
          hash = ((hash << 5) + hash) + *arKey++;  
          hash = ((hash << 5) + hash) + *arKey++;  
          hash = ((hash << 5) + hash) + *arKey++;  
     }  
     switch (nKeyLength) {  
          case 7: hash = ((hash << 5) + hash) + *arKey++; /* fallthrough... */  
          case 6: hash = ((hash << 5) + hash) + *arKey++; /* fallthrough... */  
          case 5: hash = ((hash << 5) + hash) + *arKey++; /* fallthrough... */  
          case 4: hash = ((hash << 5) + hash) + *arKey++; /* fallthrough... */  
          case 3: hash = ((hash << 5) + hash) + *arKey++; /* fallthrough... */  
          case 2: hash = ((hash << 5) + hash) + *arKey++; /* fallthrough... */  
          case 1: hash = ((hash << 5) + hash) + *arKey++; break;  
          case 0: break;  
     }  
     return hash;  
}

PHP内核中如何实现均匀分布和解决hash碰撞问题的

均匀分布

均匀分布是指，将需要存储的各个元素均匀的分布到HashTable中。

而负责计算具体分布到表中哪个位置的函数就是散列函数做的事情，所以散列函数的实现直接关系到均匀分布的效率。

上面也提到了PHP内核中用了简单的方式实现：h & ht->nTableMask;

Hash碰撞

Hash碰撞是指，经过Hash算法后得到的值会出现key1 != key2, 但Hash(key1)却等于Hash(key2)的情况，这就是碰撞问题。

在PHP内核来看，就是会出现key1 != key2, 但key1 & ht->nTableMask却等于 key2 & ht->nTableMask的情况。

PHP内核使用双向链表的方式来存储冲突的数据。即Bucket本身也是一个双向链表，当发生冲突时，会将数据按顺序向后排列。

如果不发生冲突，Bucket即是长度为1的的双向链表。

PHP中使用一个叫Bucket的结构体表示桶，同一哈希值的所有桶被组织为一个单链表。哈希表使用HashTable结构体表示。相关源码在zend/Zend_hash.h下：

typedef struct bucket {
/* Used for numeric indexing */
ulong h;            // 对char *key进行hash后的值，或者是用户指定的数字索引值
uint nKeyLength;    // hash关键字的长度，如果数组索引为数字，此值为0
void *pData;        // 指向value，一般是用户数据的副本，如果是指针数据，则指向pDataPtr
void *pDataPtr;     //如果是指针数据，此值会指向真正的value，同时上面pData会指向此值
struct bucket *pListNext;   // 整个hash表的下一元素
struct bucket *pListLast;   // 整个哈希表该元素的上一个元素
struct bucket *pNext;       // 存放在同一个hash Bucket内的下一个元素
struct bucket *pLast;       // 同一个哈希bucket的上一个元素
char arKey[1];
/*存储字符索引，此项必须放在最未尾，因为此处只字义了1个字节，存储的实际上是指向char *key的值，
这就意味着可以省去再赋值一次的消耗，而且，有时此值并不需要，所以同时还节省了空间。
*/
} Bucket;

typedef struct _hashtable {
uint nTableSize;        // hash Bucket的大小，最小为8，以2x增长。
uint nTableMask;        // nTableSize-1 ， 索引取值的优化
uint nNumOfElements;    // hash Bucket中当前存在的元素个数，count()函数会直接返回此值
ulong nNextFreeElement; // 下一个数字索引的位置
Bucket *pInternalPointer;   // 当前遍历的指针（foreach比for快的原因之一）
Bucket *pListHead;          // 存储数组头元素指针
Bucket *pListTail;          // 存储数组尾元素指针
Bucket **arBuckets;         // 存储hash数组
dtor_func_t pDestructor;
zend_bool persistent;
unsigned char nApplyCount; // 标记当前hash Bucket被递归访问的次数（防止多次递归）
zend_bool bApplyProtection;// 标记当前hash桶允许不允许多次访问，不允许时，最多只能递归3次
#if ZEND_DEBUG
int inconsistent;
#endif
} HashTable;

HashTable结构体用于保存整个哈希表需要的基本信息，而Bucket结构体用于保存具体的数据内容。他们的字段名很清楚的表明其用途，注释上面也写得比较清楚了