目标
解决大型应用（微信、陌陌级别）中，用户经纬度在不断更新，用户查找频繁的问题。（每分钟1000W级）
方案A
本方案前，请先阅读 http://www.alivenode.com/index.php/archives/300（LBS的球面距离计算以及Geohash方案探讨(LBS之一)）
由上文，简单可得；
1、仅需每分钟将用户的经纬度，上报到数据库；
2、然后每次用户查找附近好友时，通过 LIKE ‘wm3yr3%’，即可获取
缺点：稍有一定数据量，对数据库的鸭梨可想而知
方案B
策略
假象把中国分成，若干个一平方公里的单元格，
1、用户位置的变更，理解为一个单元格移动到另外一个单元格（或者不移动）
2、用户查找附近，理解为查找，自己所在方块的的所有人
数据结构
1、用户基本信息 纬度、经度、GeoHash值（经纬度，仅用于后期距离计算）
2、单元格 集合（用户1，用户2，…）
存储工具
1、redis string（key->value） 结构，存储用户基本信息
2、redis set（集合） 结构，以GeoHash值，前6位作为key（约表示一平方千米），存储单元格的用户群
算法流程
1、更新用户信息，先删除用户原所在集合，再更新当前用户信息，最后更新当前用户所在集合
2、查找附近，直接查找，所在单元格集合所有用户ID
具体实现
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
|
<?php
/**
* LBS核心类
*
* @author name <simplephp@163.com>
* @site http://www.wubiao.info
*/
include_once
(
'geohash.class.php'
);
class
lbs
{
//索引长度 6位
protected
$index_len
= 6;
protected
$redis
;
protected
$geohash
;
public
function
__construct()
{
//redis
$this
->redis =
new
Redis();
$this
->redis->pconnect(
'127.0.0.1'
,
'6379'
);
//geohash
$this
->geohash =
new
Geohash();
}
/**
* 更新用户信息
*
* @param mixed $latitude 纬度
* @param mixed $longitude 经度
*/
public
function
upinfo(
$user_id
,
$latitude
,
$longitude
)
{
//原数据处理
//获取原Geohash
$o_hashdata
=
$this
->redis->hGet(
$user_id
,
'geo'
);
if
(!
empty
(
$o_hashdata
))
{
//原索引
$o_index_key
=
substr
(
$o_hashdata
, 0,
$this
->index_len);
//删除
$this
->redis->sRem(
$o_index_key
,
$user_id
);
}
//新数据处理
//纬度
$this
->redis->hSet(
$user_id
,
'la'
,
$latitude
);
//经度
$this
->redis->hSet(
$user_id
,
'lo'
,
$longitude
);
//Geohash
$hashdata
=
$this
->geohash->encode(
$latitude
,
$longitude
);
$this
->redis->hSet(
$user_id
,
'geo'
,
$hashdata
);
//索引
$index_key
=
substr
(
$hashdata
, 0,
$this
->index_len);
//存入
$this
->redis->sAdd(
$index_key
,
$user_id
);
return
true;
}
/**
* 获取附近用户
*
* @param mixed $latitude 纬度
* @param mixed $longitude 经度
*/
public
function
serach(
$latitude
,
$longitude
)
{
//Geohash
$hashdata
=
$this
->geohash->encode(
$latitude
,
$longitude
);
//索引
$index_key
=
substr
(
$hashdata
, 0,
$this
->index_len);
//取得
$user_id_array
=
$this
->redis->sMembers(
$index_key
);
return
$user_id_array
;
}
}
?>
|
性能测试
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
|
<?php
/**
* 模拟数据上报
*
* @author name <simplephp@163.com>
* @site http://www.wubiao.info
*/
include_once
(
'lbs.class.php'
);
$b_time
= microtime(true);
$n
= 0;
while
(1)
{
//user_id 1~1000000
$user_id
= rand(1,1000000);
//latitude 30.59773~30.726786
$rand_latitude
= rand(30597730,30726786);
$latitude
=
$rand_latitude
/1000000;
//longitude 103.983192 ~104.16069
$rand_longitude
= rand(103983192,104160690);
$longitude
=
$rand_longitude
/1000000;
$lbs
=
new
lbs();
$lbs
->upinfo(
$user_id
,
$latitude
,
$longitude
);
$n
++;
mylog(
$n
);
$e_time
= microtime(true);
if
((
$e_time
-
$b_time
)>=60)
{
exit
;
}
}
function
mylog(
$content
)
{
file_put_contents
(
'upinfo.log'
,
$content
.
"\r\n"
,FILE_APPEND);
}
?>
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
|
<?php
/**
* 模拟查找附近
*
* @author name <simplephp@163.com>
* @site http://www.wubiao.info
*/
include_once
(
'lbs.class.php'
);
$b_time
= microtime(true);
$n
= 0;
while
(1)
{
//latitude 30.59773~30.726786
$rand_latitude
= rand(30597730,30726786);
$latitude
=
$rand_latitude
/1000000;
//longitude 103.983192 ~104.16069
$rand_longitude
= rand(103983192,104160690);
$longitude
=
$rand_longitude
/1000000;
$lbs
=
new
lbs();
$re
=
$lbs
->serach(
$latitude
,
$longitude
);
$n
++;
mylog(
$n
);
$e_time
= microtime(true);
if
((
$e_time
-
$b_time
)>=60)
{
exit
;
}
}
function
mylog(
$content
)
{
file_put_contents
(
'search.log'
,
$content
.
"\r\n"
,FILE_APPEND);
}
?>
|
测试环境
虚拟机，内存256M，主频2.93GHz
性能结果
模拟了100W活跃用户行为，不断更新，不断查找附近好友
//60 seconds insert
88544
//60 seconds search
117660
//成都 100W人，数据占用内存
11.97M
总结
从测试结果来看，完全能满足，微信、陌陌之类的性能要求；
尚可改进之处：
1、Geohash，可写成PHP C扩展；或者其他Geohash实现方式
2、Redis，内存消耗较大，可考虑redis集群方案
3、本文仅查出本单元格用户，提高精度，可查出周围八个单元个，求交集
4、求出结果，如需按照由远到近排序；读出Redis经纬度，利用距离公式排序方可。（可参照上一篇文字）
附redis安装方法
=================================================================================================
//redis
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
wget http:
//redis.googlecode.com/files/redis-2.4.14.tar.gz
make
make install
//配置
cp redis.conf /etc/
vi /etc/redis.conf
#后台
daemonize yes
#日志
logfile /dev/null
#存储
dir ./
//小内存，内核参数
echo
1 > /proc/sys/vm/overcommit_memory
//防火墙
vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT
service iptables restart
//启动
redis-server /etc/redis.conf
//测试
redis-cli set foo bar
OK
redis-cli get foo
bar
|
//php redis 扩展
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
//源码
http:
//pecl.php.net/package/redis
//手册
http:
//redis.readthedocs.org/en/latest/
//安装
/opt/server/php/bin/phpize
./configure --with-php-config=/opt/server/php/bin/php-config
make
make install
//配置
vi php.ini
[redis]
extension = redis.so
|
转载请注明：IT世界 » 微信、陌陌的架构方案分析（LBS之二）
2499
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
