基于hive数仓的游戏指标分析

目录

一、分析指标数据

二、基础层数据处理

1、先把全部数据导入到HDFS中

2、创建一个外部表，将数据导入到hive中

3、分割txt文件中的数据

4、取出需要的值，并建表

5、检查数据日期

三、设计展现层数据

四、建立数据中间层

五、新建maven工程JDBC连接hive与mysql

1、启动hive服务

2、向pom文件中导入依赖

3、编写java文件

六、将数据展示到前台

数据指标

数据定义

统计粒度

统计类型

单位

N日留存（率）

注册用户在后续N天内继续登录游戏的用户。如11月1日注册用户的3日留存：11月1日注册用户在11月2日——11月4日至少登录游戏1次的人数。

日

产品、服务器

角色

一、分析指标数据

2014­10­27.txt

0001000100010007|0007|0001|125.71.203.241|gs1001|d655f33d70064bc995b85d7b39f6789f|e1a5ced3528c4eac986dd64a837f7ba9|CharacterLogin|1414381913000|sanguo_01|1|0|1|0
0001000100010007|0007|0001|125.71.203.241|gs1001|d655f33d70064bc995b85d7b39f6789f|e1a5ced3528c4eac986dd64a837f7ba9|CharacterLogin|1414381913000|sanguo_01|1|0|1|0
0001000100010007|0007|0001|125.71.203.241|gs1001|540247b8573943429a6b543000cbe94b|98104ad0d9bd42cc8dece246aebf19af|CharacterLogin|1414381950000|sanguo_xy|1|0|1|0

<!-- 角色登入登出信息表 -->
    <struct name="CharacterLogin" version="1" desc="（必填）账号登入登出信息 ">
            <entry name="AppID" type="String" size="50"  desc="(必填)应用ID"/>
            <entry name="GameID" type="String" size="32"  desc="(必填)游戏ID"/>
            <entry name="ChildId" type="String" size="32"  desc="(必填)子版本ID"/>
            <entry name="IP" type="String" size="20"  desc="(必填)登陆IP"/>
            <entry name="ServerID" type="String" size="20"  desc="(必填)服务器ID"/>
            <entry name="AccountID" type="String" size="50"  desc="(必填)账号ID"/>
            <entry name="CharacterID" type="String" size="50"  desc="(必填)角色ID"/>
            <entry name="LogType" type&#