PHP - 数组去重，（折中：符串去重）

最新推荐文章于 2024-10-18 14:55:22 发布

weixin_30919571

最新推荐文章于 2024-10-18 14:55:22 发布

阅读量103

点赞数

文章标签： php

原文链接：http://www.cnblogs.com/KTblog/p/5701919.html

版权

【译】更快的方式实现PHP数组去重

Jan 11, 2016 • Hector

原文:Faster Alternative to PHP’s Array Unique Function

概述

使用PHP的array_unique()函数允许你传递一个数组，然后移除重复的值，返回一个拥有唯一值的数组。这个函数大多数情况下都能工作得很好。但是，如果你尝试在一个大的数组里使用array_unique（）函数，它会运行地慢一些。

有一个比较好而且更快的函数array_flip()来替代使用array_unique()函数来创建唯一的数组。这个魔法般的函数会交换数组里面每一个元素的键和值，因为键值必须唯一，因此，你会得到跟array_unique()函数一样的结果。

更快的方式实现PHP数组去重

/* 创建一个包含重复值的，一共四个元素的数组 */
$array = array('green','blue','orange','blue');

/* 翻转数组，你将会得到唯一键值的数组
        array('green'=>0,'blue'=>1,'orange'=>2); */
$array = array_flip($array);

/* 然后再翻转一次，将键和值重新放置，然后得到数组：array(0=>'green',1=>'blue',2=>'orange'); */
$array = array_flip($array);

因为我们已经移除了一些元素，因此数组看起来不是正常的序列。比如我们可能会得到：array(0=>’A’,2=>’B’,5=>’C’);。在某些情况下，这不是一个问题，但是如果你需要数组的键值保持数字的序列，你可以使用一到两种方法解决键值乱序的问题。

使用array_merge修复数组的keys

添加array_flip之后的函数，将会对数组的键值排序并且让它们恢复到正常的序列，如：0,1,2,3…

$array = array('green','blue','orange','blue');
$array = array_flip($array);
$array = array_flip($array);

/* 使用array_merge()函数修复键值*/
$array = array_merge($array);

第二种方式，使用array_keys

注意，这种修复数组键值的方法比使用array_merge()函数稍微快了一点。你也可以在最后一步结合使用array_keys()函数(此函数返回翻转后的值)。然后当你翻转数组的值，键值就会根据顺序创建。

$array = array('green','blue','orange','blue');
$array = array_flip($array);
/* 跟第一个例子一样，但是现在我们先提取数组的键值 */
$array = array_keys($array);

结论

非常简单，比起在大数组使用array_unique函数，有了一个有效的性能提升。

------------------------------

其中源码分析：

【性能为王】从PHP源码剖析array_keys和array_unique

之前在[译]更快的方式实现PHP数组去重这篇文章里讨论了使用array_flip后再调用array_keys函数替换直接调用array_unique函数实现数组去重性能较好。由于原文没有给出源码分析和测试的结果，导致给读者造成迷惑，在此说声抱歉。为了解开读者的疑惑，笔者承诺了会补上源码的分析，于是花了一些时间去研究PHP的源码，现在此补上详细的说明。我在github有对PHP源码更详细的注解。感兴趣的可以围观一下，给个star。PHP5.4源码注解。可以通过commit记录查看已添加的注解。

性能分析

从运行性能上分析，看看下面的测试代码：

$test=array();
for($run=0; $run<10000; $run++) $test[]=rand(0,100); $time=microtime(true); $out = array_unique($test); $time=microtime(true)-$time; echo 'Array Unique: '.$time."\n"; $time=microtime(true); $out=array_keys(array_flip($test)); $time=microtime(true)-$time; echo 'Keys Flip: '.$time."\n"; $time=microtime(true); $out=array_flip(array_flip($test)); $time=microtime(true)-$time; echo 'Flip Flip: '.$time."\n";

运行结果如下：

从上图可以看到，使用array_unique函数需要0.069s;使用array_flip后再使用array_keys函数需要0.00152s;使用两次array_flip函数需要0.00146s。

测试结果表明，使用array_flip后再调用array_keys函数比array_unique函数快。那么，具体原因是什么呢？让我们看看在PHP底层，这两个函数是怎么实现的。

源码分析

 1 /* {{{ proto array array_keys(array input [, mixed search_value[, bool strict]])
 2    Return just the keys from the input array, optionally only for the specified search_value */  3 PHP_FUNCTION(array_keys)  4 {  5 //变量定义  6 zval *input, /* Input array */  7 *search_value = NULL, /* Value to search for */  8 **entry, /* An entry in the input array */  9 res, /* Result of comparison */ 10 *new_val; /* New value */ 11 int add_key; /* Flag to indicate whether a key should be added */ 12 char *string_key; /* String key */ 13 uint string_key_len; 14 ulong num_key; /* Numeric key */ 15 zend_bool strict = 0; /* do strict comparison */ 16  HashPosition pos; 17 int (*is_equal_func)(zval *, zval *, zval * TSRMLS_DC) = is_equal_function; 18 19 //程序解析参数 20 if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a|zb", &input, &search_value, &strict) == FAILURE) { 21 return; 22  } 23 24 // 如果strict是true，则设置is_equal_func为is_identical_function，即全等比较 25 if (strict) { 26 is_equal_func = is_identical_function; 27  } 28 29 /* 根据search_vale初始化返回的数组大小 */ 30 if (search_value != NULL) { 31  array_init(return_value); 32 } else { 33  array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(input))); 34  } 35 add_key = 1; 36 37 /* 遍历输入的数组参数，然后添加键值到返回的数组 */ 38 zend_hash_internal_pointer_reset_ex(Z_ARRVAL_P(input), &pos);//重置指针 39 //循环遍历数组 40 while (zend_hash_get_current_data_ex(Z_ARRVAL_P(input), (void **)&entry, &pos) == SUCCESS) { 41 // 如果search_value不为空 42 if (search_value != NULL) { 43 // 判断search_value与当前的值是否相同，并将比较结果保存到add_key变量 44 is_equal_func(&res, search_value, *entry TSRMLS_CC); 45 add_key = zval_is_true(&res); 46  } 47 48 if (add_key) { 49 // 创建一个zval结构体 50  MAKE_STD_ZVAL(new_val); 51 52 // 根据键值是字符串还是整型数字将值插入到return_value中 53 switch (zend_hash_get_current_key_ex(Z_ARRVAL_P(input), &string_key, &string_key_len, &num_key, 1, &pos)) { 54 case HASH_KEY_IS_STRING: 55 ZVAL_STRINGL(new_val, string_key, string_key_len - 1, 0); 56 // 此函数负责将值插入到return_value中，如果键值已存在，则使用新值更新对应的值，否则直接插入 57 zend_hash_next_index_insert(Z_ARRVAL_P(return_value), &new_val, sizeof(zval *), NULL); 58 break; 59 60 case HASH_KEY_IS_LONG: 61 Z_TYPE_P(new_val) = IS_LONG; 62 Z_LVAL_P(new_val) = num_key; 63 zend_hash_next_index_insert(Z_ARRVAL_P(return_value), &new_val, sizeof(zval *), NULL); 64 break; 65  } 66  } 67 68 // 移动到下一个 69 zend_hash_move_forward_ex(Z_ARRVAL_P(input), &pos); 70  } 71 } 72 /* }}} */

以上是array_keys函数底层的源码。为方便理解，笔者添加了一些中文注释。如果需要查看原始代码，可以点击查看。这个函数的功能就是新建一个临时数组，然后将键值对重新复制到新的数组，如果复制过程中有重复的键值出现，那么就用新的值替换。这个函数的主要步骤是地 57和63行调用的zend_hash_next_index_insert函数。该函数将元素插入到数组中，如果出现重复的值，则使用新的值更新原键值指向的值，否则直接插入，时间复杂度是O(n)。

 1 /* {{{ proto array array_flip(array input)
 2    Return array with key <-> value flipped */  3 PHP_FUNCTION(array_flip)  4 {  5 // 定义变量  6 zval *array, **entry, *data;  7 char *string_key;  8 uint str_key_len;  9 ulong num_key; 10  HashPosition pos; 11 12 // 解析数组参数 13 if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a", &array) == FAILURE) { 14 return; 15  } 16 17 // 初始化返回数组 18  array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(array))); 19 20 // 重置指针 21 zend_hash_internal_pointer_reset_ex(Z_ARRVAL_P(array), &pos); 22 // 遍历每个元素，并执行键<->值交换操作 23 while (zend_hash_get_current_data_ex(Z_ARRVAL_P(array), (void **)&entry, &pos) == SUCCESS) { 24 // 初始化一个结构体 25  MAKE_STD_ZVAL(data); 26 // 将原数组的值赋值为新数组的键 27 switch (zend_hash_get_current_key_ex(Z_ARRVAL_P(array), &string_key, &str_key_len, &num_key, 1, &pos)) { 28 case HASH_KEY_IS_STRING: 29 ZVAL_STRINGL(data, string_key, str_key_len - 1, 0); 30 break; 31 case HASH_KEY_IS_LONG: 32 Z_TYPE_P(data) = IS_LONG; 33 Z_LVAL_P(data) = num_key; 34 break; 35  } 36 37 // 将原数组的键赋值为新数组的值，如果有重复的，则使用新值覆盖旧值 38 if (Z_TYPE_PP(entry) == IS_LONG) { 39 zend_hash_index_update(Z_ARRVAL_P(return_value), Z_LVAL_PP(entry), &data, sizeof(data), NULL); 40 } else if (Z_TYPE_PP(entry) == IS_STRING) { 41 zend_symtable_update(Z_ARRVAL_P(return_value), Z_STRVAL_PP(entry), Z_STRLEN_PP(entry) + 1, &data, sizeof(data), NULL); 42 } else { 43 zval_ptr_dtor(&data); /* will free also zval structure */ 44 php_error_docref(NULL TSRMLS_CC, E_WARNING, "Can only flip STRING and INTEGER values!"); 45  } 46 47 // 下一个 48 zend_hash_move_forward_ex(Z_ARRVAL_P(array), &pos); 49  } 50 } 51 /* }}} */

上面就是是array_flip函数的源码。点击链接查看原始代码。这个函数主要的做的事情就是创建一个新的数组，遍历原数组。在26行开始将原数组的值赋值为新数组的键，然后在37行开始将原数组的键赋值为新数组的值，如果有重复的，则使用新值覆盖旧值。整个函数的时间复杂度也是O(n)。因此，使用了array_flip之后再使用array_keys的时间复杂度是 O(n)。

接下来，我们看看array_unique函数的源码。点击链接查看原始代码。

 1 /* {{{ proto array array_unique(array input [, int sort_flags])
 2    Removes duplicate values from array */  3 PHP_FUNCTION(array_unique)  4 {  5 // 定义变量  6 zval *array, *tmp;  7 Bucket *p;  8 struct bucketindex {  9 Bucket *b; 10 unsigned int i; 11  }; 12 struct bucketindex *arTmp, *cmpdata, *lastkept; 13 unsigned int i; 14 long sort_type = PHP_SORT_STRING; 15 16 // 解析参数 17 if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a|l", &array, &sort_type) == FAILURE) { 18 return; 19  } 20 21 // 设置比较函数 22  php_set_compare_func(sort_type TSRMLS_CC); 23 24 // 初始化返回数组 25  array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(array))); 26 // 将值拷贝到新数组 27 zend_hash_copy(Z_ARRVAL_P(return_value), Z_ARRVAL_P(array), (copy_ctor_func_t) zval_add_ref, (void *)&tmp, sizeof(zval*)); 28 29 if (Z_ARRVAL_P(array)->nNumOfElements <= 1) { /* 什么都不做 */ 30 return; 31  } 32 33 /* 根据target_hash buckets的指针创建数组并排序 */ 34 arTmp = (struct bucketindex *) pemalloc((Z_ARRVAL_P(array)->nNumOfElements + 1) * sizeof(struct bucketindex), Z_ARRVAL_P(array)->persistent); 35 if (!arTmp) { 36  zval_dtor(return_value); 37  RETURN_FALSE; 38  } 39 for (i = 0, p = Z_ARRVAL_P(array)->pListHead; p; i++, p = p->pListNext) { 40 arTmp[i].b = p; 41 arTmp[i].i = i; 42  } 43 arTmp[i].b = NULL; 44 // 排序 45 zend_qsort((void *) arTmp, i, sizeof(struct bucketindex), php_array_data_compare TSRMLS_CC); 46 47 /* 遍历排序好的数组，然后删除重复的元素 */ 48 lastkept = arTmp; 49 for (cmpdata = arTmp + 1; cmpdata->b; cmpdata++) { 50 if (php_array_data_compare(lastkept, cmpdata TSRMLS_CC)) { 51 lastkept = cmpdata; 52 } else { 53 if (lastkept->i > cmpdata->i) { 54 p = lastkept->b; 55 lastkept = cmpdata; 56 } else { 57 p = cmpdata->b; 58  } 59 if (p->nKeyLength == 0) { 60 zend_hash_index_del(Z_ARRVAL_P(return_value), p->h); 61 } else { 62 if (Z_ARRVAL_P(return_value) == &EG(symbol_table)) { 63 zend_delete_global_variable(p->arKey, p->nKeyLength - 1 TSRMLS_CC); 64 } else { 65 zend_hash_quick_del(Z_ARRVAL_P(return_value), p->arKey, p->nKeyLength, p->h); 66  } 67  } 68  } 69  } 70 pefree(arTmp, Z_ARRVAL_P(array)->persistent); 71 } 72 /* }}} */

可以看到，这个函数初始化一个新的数组，然后将值拷贝到新数组，然后在45行调用排序函数对数组进行排序，排序的算法是zend引擎的块树排序算法。接着遍历排序好的数组，删除重复的元素。整个函数开销最大的地方就在调用排序函数上，而快排的时间复杂度是O(n*logn)，因此，该函数的时间复杂度是O(n*logn)。