使用hive进行日志分析

任务
将一批登陆日志导入到hive中,然后通过hive计算如下数据,并将计算结果存入mongoDB
1. 每小时的登陆用户数(qid消重)
2. 每小时通过各渠道登陆各游戏的用户数
3. 12月9日10点的新用户
登陆日志的数据结构如下所示:


                     gkey        登陆时间                qid           skey                   渠道                  ip地址


步骤
1.在hive中建立日志的表结构
由于登陆日志中,有一些无用的信息需要剔除,例如”info、SPR“等,因此在建表时,需要通过自定义SerDe(serialize/deserialize,数据序列化和反序列化时格式化数据)来提取特定信息。


2.加载数据到登陆日志表
日志文件是按小时组织的,因此一天有24个文件。通过使用“20131208*”可以将128号那天的24个文件一次性加载到hive中。


3.hive中建立计算结果的表结构
storedby指定了该表的存储位置。这里使用了开源的Hive-mongo程序使hive的计算结果直接保存到mongoDB中。
tblproperties中指定了mongohostportdbcollection

4.加载数据到计算结果表


遇到的坑

1.加载数据到登陆日志表失败,所有记录的值都为null
        原因:正则表达式编写不正确。
        由于自定义了表属性信息serdeproperties,因此要求正则表达式必须能与日志格式完全匹配,否则提取不到特定信息。
        为了写出正确的正则表达式,首先在Regex Match Tracer中编写来匹配日志,成功后再将每个正则表达式中的转义字符再加上一个转义符号"\"(详细解释),但仍然加载不成功。
        仔细分析后发现,在Regex Match Tracer中用来匹配的那条日志记录,其"渠道"字段都为字符串,因此我在正则表达式中直接使用\w+来匹配,而日志中绝大多数的记录,其“渠道”字段中有分隔符“-”,从而导致绝大多数日志记录不匹配。
        而每次查看日志表时,只查看前10条记录,恰好前10条记录都不匹配,让我误以为所有的都是null。
2.加载数据到计算结果表时,经常性的失败
        原因:将mongo.host写成127.0.0.1
        hive会将操作语句转换为map-reduce任务,map-reduce会在w5-w15集群中进行分布式运算。
        本机为w5,而mongodb只有在w5上才有。若任务分配到w5则能成功连上mongodb,若分配到其他机器上,则会尝试连接其他机器的mongodb,当然会连不上而导致失败。

展开阅读全文

没有更多推荐了,返回首页