手游用户数据分析平台

目录：

1. 大数据间项目简历
   1. 大数据简历(项目部分)
   2. 大数据面试总结《二十》--优秀简历的编写
   3. 大数据开发面试指南
   4. 大数据技术之_32_大数据面试题_01_Hive 基本面试 + Hive 数据分析面试 + Flume + Kafka 面试
2. 项目时间：2019-04 - 2019-08
3. 技术架构：Hadoop+Flume+HBase+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql
4. 项目描述：
   1. 该系统是一个用户行为分析系统。系统的主要用户为公司内部的PM和运营人员，用户根据自己的需求去分析某一 类客户的流量数据。根据分析结果，PM可以优化产品设计，运营人员可以为自己的运营工作提供数据支持。用户在系统界面中选择某个分析功能对应的菜单，并进入对应的任务创建界面，然后选择筛选条件和任务参数，并提交任务。在接收到用户提交的任务之后，根据任务类型选择其对应的Spark作业，启动一条子线程来执行Spark-submit命令以提交Spark作业。Spark作业运行在Yarn集群上，并针对Hdfs中的海量数据使用SparkSQL进行计算，最终将计算结果写入Hdfs中。另外还集成Flume，Kafka和Spark,利用SparkStreaming，进行实时分析。用户通过系统界面查看任务分析结果，将结果返回给界面进行展现。
   2. 游戏数据的构成分为四个层面：
      1. 第一层是论坛媒体的数据，这是游戏外的数据
         1. 广告投放量分析
         2. 渠道合作分析
      2. 第二层是运营数据（其他作用）
         1. 结论一：在手游题材方面，手游公司应该向角色扮演类、休闲益智类、卡牌类游戏方向靠拢，而由于手机屏幕与PC相比过小、游戏操作样式较少等特性，适当减少体育类等题材的游戏，并非单纯地将PC上火爆的游戏平移到手机上。
         2. 结论二：在推广策略方面，手游公司依然应该注重应用分发平台这个渠道，毕竟绝大部分用户是通过这个平台来获知并下载游戏。在过去一段时间内，手游公司在广告推广方面无所不用其极——地铁站、视频广告、应用内植入等等，我们都能看到手游的身影，但调查结果显示，此举效果存疑。
         3. 结论三：在收费制度方面，应该谨慎考虑“下载付费”的策略。毕竟在互联网、移动互联网时代，“免费”的理念已经深入身心，“下载付费”会阻碍用户进入到游戏中。
         4. 结论四：在游戏设计方面，用户对游戏制作的精美程度并无太高的要求，但对装备、闯关等有较高的付费需求。手游公司应该在这些方面多加考虑，例如，如何将游戏关卡设计的更巧妙，如何将装备对游戏的影响力做的更好，同时也兼顾平衡。
         5. 结论五：一直以来，手游轻量化一直是行业的整体现象，因为手游本来就占据着用户的碎片化时间，不应该过重。但通过数据显示，超过三成的用户每天要在手游上花费超过2个小时的时间，这一部分手游“重度用户”对重度游戏存在需求。
         6. 结论六：从消费的角度看，超过半数的用户已经开始习惯付费，且多数用户并不计划改变过去一年的消费习惯——这意味着手游行业不用担心大规模的付费用户流失。
      3. 第三层是玩家的行为数据
      4. 第四层是业务常规数据
   3. 离线分析：
      1. 分析哪些数据
         1. 新区注册人数和时段的关系
            正式开区前通过预约的方式进行注册，在开区当前进去游戏和时间关系的比例
            开区当天注册的人数
            开区之后注册的人数及时间的关系
         2. 用户在注册之后，活跃度分析
         3. 用户游戏在线时间及时段分析
         4. 区组金钱充值和合区的分析
      2. 分析的过程
         1. 其他开发人员：游戏的日志产生消息。
         2. 本人：
         3. 用户注册产生的日志信息（账号信息（哪种账号）、注册时间、）
         4. 每次进入游戏及退出游戏产生的日志信息（账号信息、进入时间、退出时间、地点、分配的上线区组、登陆的设备）
         5. 游戏内的日志。
      3. 分析的结果
         1. 新区注册人数和日期的关系图
         2. 活跃度
         3. 游戏下载渠道分析
         4. 用户消费比例、消费因素分析及比例
   4. 实时分析：
5. 责任描述
   1. 参与产品需求分析，技术方案选型，hadoop等开发环境的搭建；
   2. 编写、测试、优化MR程序对Flume收集上传到HDFS的数据进行清洗与过滤；
   3. 通过编写Hive HQL程序从时间、地域、浏览器等多个维度对pv，uv，活跃用户数、新注册用户数、二跳率等指标进行多维度分析统计;
   4. 编写Sqoop命令周期性或采用增量方式将处理好的结果表数据导入到MySQL中。
   5. 在数据中心经理指导下，接收、分析、实现来自需求部门的数据需求；
   6. 与数据中心运维工程师，数据中心架构师协同，进行日常数据问题审计、查证、处理。
6. 网站参考
   1. 游戏数据分析框架
   2. 游戏数据分析-基本指标
   3. 游戏数据分析常用指标汇总

详细说明：

1. 离线分析系统​​​​​​​
   1. 游戏玩家
      1 新增玩家
      1.1 新增设备激活：当日新增加的激活设备量。新增玩家账户：当日新增加的玩家帐户数
      1.2 玩家转化：安装游戏的玩家中（即激活设备）有注册账户的玩家比例，1人多次注册，只记1次有效转化。例如：共5台激活设备，其中3台每人1次注册，1台没有注册，1台注册了3次账户，共注册了6个不同账户；注册转化率=（3+1）/5=80%，而不是用6次注册/5台设备
      1.3 单设备账户数量分析（小号分析）：您所选时间内激活的设备，到当前为止的注册账号数目分布情况。通过小号分析能帮助了解多少比例的设备会反复注册多个账户，多少比例至今还未进行注册，分析刷小号情况
      1.4 玩家账户类型：新增玩家帐号的帐户类型分布情况。比如游戏厂商自有账号、匿名账号、QQ账号、新浪微博账号等等
      1.5 地区：新增玩家帐号的地区分布情况
      1.6 渠道：新增玩家帐号的渠道分布情况，每个玩家始终归入首次设备激活时的渠道。比如ios、安卓。
      1.7 性别：新增玩家帐号的玩家性别情况，根据您的游戏中传入的性别确定玩家的性别
      1.8 年龄：新增玩家帐号的年龄分布情况，根据您传入的年龄确定玩家的年龄段
   2. 活跃玩家
      2.1 DAU（Daily Active User）日活跃用户：在当天登录过游戏的用户。有效反映和衡量一款游戏核心用户数。
      2.2 WAU（Weekly Active User）周活跃用户：当日的最近一周（含当日的倒推7日）活跃玩家，将进行过游戏的玩家按照帐户进行排重。
      2.3 MAU（Monthly Active User）月活跃用户：当日的最近一月（含当日的倒退30日）活跃玩家，将进行过游戏的玩家按照帐户进行排重。
      2.4 DAU/MAU：可体现玩家的总体粘度，衡量这30天内每日活跃玩家的交叉重合情况。此比例越趋近于1，代表月活跃中有更多玩家多日活跃；比例越趋近0，则代表大量玩家只在一日中活跃。当比例小于0.1时，游戏的自传播性将很差。DAU/MAU×30也用于大致衡量玩家平均每月活跃天数。
      2.5 活跃玩家已玩天数：所选时期的活跃玩家的活跃日期减新增日期的日数差（即其已进行游戏的天数）的分布情况。
      2.6 活跃玩家等级：所选时期每日活跃玩家的等级分布情况，由每日数据组成的时期趋势可观测等级的总体走势。
      2.7 活跃玩家地区：所选时期排重活跃玩家的地区分布情况。
      2.8 活跃玩家渠道：所选时期排重活跃玩家的渠道分布情况，渠道按照其最初新增时的渠道确定。
      2.9 活跃玩家性别：所选时期排重活跃玩家的性别情况。
      2.10 活跃玩家年龄：所选时期排重活跃玩家的年龄分布情况。
   3. 玩家留存
      3.1 新增账户留存率：某日新增的玩家/设备中，在该日后的第N日中，还有进行游戏的玩家/设备比例。
      例如：5月3日新增玩家为100人，这100人中有24人在5月10日这一天内还有玩过游戏，5月3日的7日留存率=24/100=24%
      3.2 激活设备留存率：某日新增的玩家/设备中，在该日后的第N日中，还有进行游戏的玩家/设备比例。
      例如：5月3日新增玩家为100人，这100人中有24人在5月10日这一天内还有玩过游戏，5月3日的7日留存率=24/100=24%
      3.3 留存用户分析：
      用户群：次日留存用户，7日留存用户，30日留存用户
      分析方式：新增日的等级，新增日的游戏次数，新增日的游戏时长，新增日是否付费，玩家性别，玩家年龄。
2. 实时在线分析系统
   1. ​​​​​​​付费转化
      4.1 新增付费玩家：当日新增加的充值玩家。
      4.2 累计付费玩家：截至当日，累计的充过值的玩家数。
      4.3 总体付费率：截至当日，累计付费玩家占累计总玩家的比例（累计付费玩家/累计玩家帐户）。
      4.4 新玩家-首日付费率：所选时期的新增玩家中，在新增当日即进行充值的玩家数和其占比。
      4.5 新玩家-首周付费率：某自然周中进行付费的玩家（排重）占该自然周活跃玩家的比例。
      4.6 新玩家-首月付费率：某自然月中进行付费的玩家（排重）占该自然月活跃玩家的比例。
      4.7 新玩家首付的游戏天数：所选时期内的新增付费玩家，按照其已经玩游戏的天数（首付日期-新增日期）进行分布。
      4.8 新玩家首付的累积游戏时长：所选时期内，玩家首次付费时在游戏中累计的游戏时长分布情况。
      4.9 玩家首付等级：所选时期内，玩家首次付费时的等级分布情况。
      4.10 玩家首付金额：玩家在游戏中首次充值时，支付的单比金额的分布情况。
      4.11 首付充值包类型：玩家在游戏中首次充值时，所选择的充值包的类型分布情况​​​​​​​
   2. 国内第三方数据服务提供商DataEye发布《手游玩家秋冬节假日行为分析报告》。报告显示：节假日对于手游玩家活跃有明显的促进作用，新增用户也有所增加；手游玩家在中秋、国庆、元旦、春节这些有假期的节日中，为获得节日奖励，将更多的精力投入到游戏中，因此其每日累计游戏时长也有所增加。
3. 玩家游戏时长分布均匀
   
4. 绝大部分用户通过分发渠道推荐下载手游
   
5. 花钱玩手游的人更多
   
6. 多数人消费预算不会变化
   
7. 为升级装备而付费的人居多