php redis 坑,PHP-Redis扩展遇到的一个小坑

年前在做项目的时候遇到了一个小坑，就是把一个超过14位的十进制数字作为score和member存到redis的sorted set的时候，用PHP读取数据的时候score会被转换成浮点数，最末两位的数字会消失，导致当用score作为分页标志的时候会出现分页异常的情况。

1 事故现场

1.1 插入数据

redis> zadd sorted_set_key_test 3888153779537508 3888153779537508

(integer) 1

redis> zrange sorted_set_key_test 0 -1 withscores

1) "3888153779537508"

2) "3888153779537508"

redis>

1.2 读取数据

//redis.php

$redis = new Redis();

$redis->connect('127.0.0.1', 6379);

var_dump($redis->ZRANGE("zset_test", 0, -1, true));

[root@localhost ~]# php redis.php

array(1) {

[3888153779537508]=>

float(3.8881537795375E+15)

}

[root@localhost ~]#

2 分析过程

2.1 redis存储的大小限制

redis中sorted set的scores取值范围

根据上面的文档：Redis里sorted set类型的score支持整形和浮点型，其中整形的-(2^53) 到+(253)，而3888153779537508并没有超过253(18014398509481983)这个范围

2.2 通过tcpdump抓包，确定问题是在PHP中

tcpdump -i lo port 6379 -q -X

tcpdump抓包结果

如图所示，第一个红框内为php向redis服务器发送请求的数据包，第二个红框内为redis返回数据结果的数据包，包内容如下：

[root@localhost ~]# telnet 127.0.0.1 6379

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

zrange zset_test 0 -1 withscores

*2

$16

3888153779537508

$16

3888153779537508

发现redis返回的是字符串类型的一串数字

2.3 通过查PHP-redis扩展的源码，发现是扩展的问题

//redis.c line:1966-1971

/* {{{ proto array Redis::zRange(string key,int start,int end,bool scores=0) */

PHP_METHOD(Redis, zRange)

{

generic_zrange_cmd(INTERNAL_FUNCTION_PARAM_PASSTHRU, "ZRANGE",

redis_zrange_cmd);

}

首先找到了实现$redis->zrange的函数，发现调用了generic_zrange_cmd的函数

//redis_cluster.c line:1586-1617

/* Generic implementation for ZRANGE, ZREVRANGE, ZRANGEBYSCORE, ZREVRANGEBYSCORE */

static void generic_zrange_cmd(INTERNAL_FUNCTION_PARAMETERS, char *kw,

zrange_cb fun)

{

redisCluster *c = Z_REDIS_OBJ_P(getThis());

cluster_cb cb;

char *cmd; int cmd_len; short slot;

int withscores=0;

if(fun(INTERNAL_FUNCTION_PARAM_PASSTHRU, c->flags, kw, &cmd, &cmd_len,

&withscores, &slot, NULL)==FAILURE)

{

efree(cmd);

RETURN_FALSE;

}

if(cluster_send_command(c,slot,cmd,cmd_len TSRMLS_CC)<0 || c->err!=NULL) {

efree(cmd);

RETURN_FALSE;

}

efree(cmd);

cb = withscores ? cluster_mbulk_zipdbl_resp : cluster_mbulk_resp;

if (CLUSTER_IS_ATOMIC(c)) {

cb(INTERNAL_FUNCTION_PARAM_PASSTHRU, c, NULL);

} else {

void *ctx = NULL;

CLUSTER_ENQUEUE_RESPONSE(c, slot, cb, ctx);

RETURN_ZVAL(getThis(), 1, 0);

}

}

在这个函数的1609行，判断如果有withscores，调用cluster_mbulk_zipdbl_resp

//cluster_library.c line:2207-2214

/* Handling key,value to key=>value where the values are doubles */

PHP_REDIS_API void

cluster_mbulk_zipdbl_resp(INTERNAL_FUNCTION_PARAMETERS, redisCluster *c,

void *ctx)

{

cluster_gen_mbulk_resp(INTERNAL_FUNCTION_PARAM_PASSTHRU, c,

mbulk_resp_loop_zipdbl, NULL);

}

直接调用了cluster_gen_mbulk_resp，并且把mbulk_resp_loop_zipdbl函数作为参数传了进去，发现在cluster_gen_mbulk_resp最终调用了mbulk_resp_loop_zipdbl

//cluster_library.c line:2318-2356

/* MULTI BULK loop processor where we expect key,score key, score */

int mbulk_resp_loop_zipdbl(RedisSock *redis_sock, zval *z_result,

long long count, void *ctx TSRMLS_DC)

{

char *line, *key;

int line_len, key_len;

long long idx=0;

// Our context will need to be divisible by 2

if(count %2 != 0) {

return -1;

}

// While we have elements

while(count--) {

line = redis_sock_read(redis_sock, &line_len TSRMLS_CC);

if (line != NULL) {

if(idx++ % 2 == 0) {

key = line;

key_len = line_len;

} else {

zval z;

if (redis_unserialize(redis_sock,key,key_len, &z TSRMLS_CC)) {

convert_to_string(&z);

add_assoc_double_ex(z_result, Z_STRVAL(z), Z_STRLEN(z), atof(line));

zval_dtor(&z);

} else {

add_assoc_double_ex(z_result, key, key_len, atof(line));

}

/* Free our key and line */

efree(key);

efree(line);

}

}

}

return SUCCESS;

}

发现，在最终处理score数据的时候调用了atof函数，将redis服务器返回的字符串转换成了浮点数，导致了开始说的问题。

3 总结

3.1 后续处理

当时发现这个问题之后，将score作为member的一部分存在redis里，取出来之后，从member中获取到score，再根据这个score来进行分页获取数据

3.2 什么时候会出现这样的问题

经过简单的尝试，发现php最多可以保存14位精确的数据在float类型中，如果超过14位，最末几位会失去精度

3.3 后续吧

在github里提了issue，作者给出的回答是：

大概是说2.2.7之后的版本都是这么处理的，理论上可以对获取到的score进行判断是浮点数还是整数，但是这样会消耗一部分性能。