一种移动APP统计平台的架构方案（适用于千万级用户的应用）

（本文原创，转载好歹给个注明或者链接。。。。）

http://lengyueblog.eicp.net/?p=33

移动互联网现在在飞速的发展，而移动APP也越来越多，当一个应用的用户量达到百万以及千万级别的时候，统计这个应用的用户分布，用户行为，以及活跃度成为产品运营的必须条件；而统计出这些基本的数据，需要分析APP上报来的日志，一般用户量达到千万的时候，日志量会有十亿或者百亿条，如果仍旧使用传统的数据库进行数据分析，所需要系统资源以及消耗的时间会非常恐怖，如果使用定时脚本的预处理，也不一定可以在当天就能完成昨天的数据统计。这里提供一个基于hadoop、hive的统计平台架构，用来进行日志分析，从结果上来看，目前从30亿条基础数据中统计出来用户的基本信息，大概需要花1-2个小时的时间就结束了。每天将这些数据插入到临时存储的mysql当中，供运营人员查询，即时查询一般不超过5秒，满足了基本的统计需求。

首先介绍一下基于移动app的基本统计项，可以参考“友盟”的移动应用统计（不是做广告哦），截图如下：

在这里就不一一阐述各个统计项的规则了，举几个例子，例如：

1. 新用户数：

方法1：取出当天的日志中以前不曾出现的token（移动APP从客户端获取并生成的当前手机唯一标识）

方法2：当用户安装APP的时候，将此token单独记录到一个日志文件里，例如：

select count(distinct(token)) from records_first_start where created_day = ’2012-08-23′

2. 启动用户数：当天发送独立token的数量

select count(distinct(token)) from recores where created_day = ’2012-08-23′

这里列几个比较简单的，比较复杂的例如 版本升级信息统计，留存量统计等放在后续章节讲解。

下面列出需要统计的统计项：

一、基本统计：

1.  用户统计：新用户数、启动用户数、累计用户数
2. 渠道分布：渠道、新用户、启动用户、累计用户
3. 版本分布：版本、新用户、启动用户、累计用户
4. 终端分布：机型、品牌、新用户、启动用户、累计用户
5. 操作系统分布：操作系统、新用户、启动用户、累计用户
6. 地域分布：国家、省份、城市、新用户、启动用户、累计用户
7. 异常信息统计：异常信息、版本号、发生时间、发生次数
8. 留存量：新、启动用户2天后、7天后、14天后、30天后留存量
9. 版本升降机统计：升级版本、降级版本、数量

以上各统计项又可以分类为按天、按月、按区间三大类。

未完待续。。。

http://qaddzzq.gicp.net/wordpress/?p=33