近两年、手机应用,莫过于微信、陌陌之类最受欢迎;但实现原理,分享文章甚少。
故,提出两种方案,供分享;不对之处,敬请留言学习。
目标
解决大型应用(微信、陌陌级别)中,用户经纬度在不断更新,用户查找频繁的问题。(每分钟1000W级)
=================================================================================================
方案A
本方案前,请先阅读 http://www.wubiao.info/372
由上文,简单可得;
1、仅需每分钟将用户的经纬度,上报到数据库;
2、然后每次用户查找附近好友时,通过 LIKE ‘wm3yr3%’,即可获取
缺点:稍有一定数据量,对数据库的鸭梨可想而知
=================================================================================================
方案B
策略
假象把中国分成,若干个一平方公里的单元格,
1、用户位置的变更,理解为一个单元格移动到另外一个单元格(或者不移动)
2、用户查找附近,理解为查找,自己所在方块的的所有人
数据结构
1、用户基本信息 纬度、经度、GeoHash值(经纬度,仅用于后期距离计算)
2、单元格 集合(用户1,用户2,…)
存储工具
1、redis string(key->value) 结构,存储用户基本信息
2、redis set(集合) 结构,以GeoHash值,前6位作为key(约表示一平方千米),存储单元格的用户群
算法流程
1、更新用户信息,先删除用户原所在集合,再更新当前用户信息,最后更新当前用户所在集合
2、查找附近,直接查找,所在单元格集合所有用户ID
具体实现
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
|
<?php
/**
* LBS核心类
*
* @author name <simplephp@163.com>
* @site http:
//www
.wubiao.info
*/
include_once(
'geohash.class.php'
);
class lbs
{
//
索引长度 6位
protected $index_len = 6;
protected $redis;
protected $geohash;
public
function
__construct()
{
//redis
$this->redis = new Redis();
$this->redis->pconnect(
'127.0.0.1'
,
'6379'
);
//geohash
$this->geohash = new Geohash();
}
/**
* 更新用户信息
*
* @param mixed $latitude 纬度
* @param mixed $longitude 经度
*/
public
function
upinfo($user_id,$latitude,$longitude)
{
//
原数据处理
//
获取原Geohash
$o_hashdata = $this->redis->hGet($user_id,
'geo'
);
if
(!empty($o_hashdata))
{
//
原索引
$o_index_key = substr($o_hashdata, 0, $this->index_len);
//
删除
$this->redis->sRem($o_index_key,$user_id);
}
//
新数据处理
//
纬度
$this->redis->hSet($user_id,
'la'
,$latitude);
//
经度
$this->redis->hSet($user_id,
'lo'
,$longitude);
//Geohash
$hashdata = $this->geohash->encode($latitude,$longitude);
$this->redis->hSet($user_id,
'geo'
,$hashdata);
//
索引
$index_key = substr($hashdata, 0, $this->index_len);
//
存入
$this->redis->sAdd($index_key,$user_id);
return
true
;
}
/**
* 获取附近用户
*
* @param mixed $latitude 纬度
* @param mixed $longitude 经度
*/
public
function
serach($latitude,$longitude)
{
//Geohash
$hashdata = $this->geohash->encode($latitude,$longitude);
//
索引
$index_key = substr($hashdata, 0, $this->index_len);
//
取得
$user_id_array = $this->redis->sMembers($index_key);
return
$user_id_array;
}
}
?>
|
性能测试
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
|
<?php
/**
* 模拟数据上报
*
* @author name <simplephp@163.com>
* @site http:
//www
.wubiao.info
*/
include_once(
'lbs.class.php'
);
$b_time = microtime(
true
);
$n = 0;
while
(1)
{
//user_id
1~1000000
$user_id = rand(1,1000000);
//latitude
30.59773~30.726786
$rand_latitude = rand(30597730,30726786);
$latitude = $rand_latitude
/1000000
;
//longitude
103.983192 ~104.16069
$rand_longitude = rand(103983192,104160690);
$longitude = $rand_longitude
/1000000
;
$lbs = new lbs();
$lbs->upinfo($user_id,$latitude,$longitude);
$n++;
mylog($n);
$e_time = microtime(
true
);
if
(($e_time-$b_time)>=60)
{
exit
;
}
}
function
mylog($content)
{
file_put_contents(
'upinfo.log'
,$content.
"\r\n"
,FILE_APPEND);
}
?>
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
|
<?php
/**
* 模拟查找附近
*
* @author name <simplephp@163.com>
* @site http:
//www
.wubiao.info
*/
include_once(
'lbs.class.php'
);
$b_time = microtime(
true
);
$n = 0;
while
(1)
{
//latitude
30.59773~30.726786
$rand_latitude = rand(30597730,30726786);
$latitude = $rand_latitude
/1000000
;
//longitude
103.983192 ~104.16069
$rand_longitude = rand(103983192,104160690);
$longitude = $rand_longitude
/1000000
;
$lbs = new lbs();
$re = $lbs->serach($latitude,$longitude);
$n++;
mylog($n);
$e_time = microtime(
true
);
if
(($e_time-$b_time)>=60)
{
exit
;
}
}
function
mylog($content)
{
file_put_contents(
'search.log'
,$content.
"\r\n"
,FILE_APPEND);
}
?>
|
测试环境
虚拟机,内存256M,主频2.93GHz
性能结果
模拟了100W活跃用户行为,不断更新,不断查找附近好友
//60 seconds insert
88544
//60 seconds search
117660
//成都 100W人,数据占用内存
11.97M
总结
从测试结果来看,完全能满足,微信、陌陌之类的性能要求;
尚可改进之处:
1、Geohash,可写成PHP C扩展;或者其他Geohash实现方式
2、Redis,内存消耗较大,可考虑redis集群方案
3、本文仅查出本单元格用户,提高精度,可查出周围八个单元个,求交集
4、求出结果,如需按照由远到近排序;读出Redis经纬度,利用距离公式排序方可。(可参照上一篇文字)
附redis安装方法
=================================================================================================
//redis
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
wget http:
//redis
.googlecode.com
/files/redis-2
.4.14.
tar
.gz
make
make
install
//
配置
cp
redis.conf
/etc/
vi
/etc/redis
.conf
#后台
daemonize
yes
#日志
logfile
/dev/null
#存储
dir
./
//
小内存,内核参数
echo
1 >
/proc/sys/vm/overcommit_memory
//
防火墙
vi
/etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT
service iptables restart
//
启动
redis-server
/etc/redis
.conf
//
测试
redis-cli
set
foo bar
OK
redis-cli get foo
bar
|
=================================================================================================
//php redis 扩展
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
//
源码
http:
//pecl
.php.net
/package/redis
//
手册
http:
//redis
.readthedocs.org
/en/latest/
//
安装
/opt/server/php/bin/phpize
.
/configure
--with-php-config=
/opt/server/php/bin/php-config
make
make
install
//
配置
vi
php.ini
[redis]
extension = redis.so
|