binlog数据清洗

数据分类

目前游戏中数据分为两类，一种是游戏数据，一种是游戏日志数据，即game_data和game_log_data。对于game_log数据主要做一些汇总分析，比如玩家参与某种玩法的参与度，以及一些行为的分析。对于游戏数据，主要就是玩家一些基础属性，比如战力，等级等等的存储，最重要的就是玩家的充值数据，这些会随着玩家的操作数据值会改变的，如玩家升级，充值由未完成到已完成。

清洗流程

核心问题以及解决

• 数据对于二进制文件
  • 对于blob等二进制文件在存储到大数据仓库的时候，直接转换为text , 在目前来说这种数据，对于统计几乎没有统计意义。
• 同一个表要落到一个分区中
  • 对数据库+表名做hash操作，然后%分区数，让同一个表数据落入同一分区。

主线程代码

String groupId = gameConfig.getGroups