使用Hive处理服务器导入到OSS的日志数据

假设这样一个场景,用户有许多的机器(ECS或者自有机房的都可以),每天产生非常多的日志,记录了用户的访问的一些信息,比如userId,访问的页面地址,访问的时间,访问Ip等等。我们对这些数据进行一个离线分析,每天分析一次,计算网站的各个页面的UV、PV,并观察一下是否有作弊的情况:如多个不同的账号来自于同一个IP。并能将最终的这个结果同步到数据库中,在管理后台查看。

那么使用E-MapReduce要如何来做呢?

第一步 获取日志数据

首先,我们需要获取所有服务器的日志数据。这个可以通过阿里云的日志服务(SLS)来完成。
可以安装日志服务的客户端到指定的机器上,然后在日志服务的控制台进行数据收集配置,就能够把数据收集上来了。
具体的可以参考日志服务使用说明
你可以在配置中指定你需要收集的目录和文件名,通过这一步,所有的机器上的日志就都会被收集到日志服务中去。

第二步 将数据投递到OSS

收集到了数据。现在我们要把这些数据都放到OSS上去。主要是几个原因

  1. OSS的存储本身非常便宜,而日志服务默认数据并不永久保存
  2. 日志服务没有提供读取大量离线数据的接口

在LogStore管理标签下能够看到有一栏日志投递,如下

点击对应的LogStore后面的OSS(创建),就可以创建一个到OSS的投递任务了
详细的配置参考,投递到OSS

其中有几点要注意的

  1. 投递的时候,是否压缩选项请选择非压缩的文本
  2. 是OSS投递的路径最终是这样构成的,会自动加上很多层的路径
  3. 所有的投递的数据都是一个json结构,并不是原始的数据格式

这个就需要我们在处理数据的时候,要对所有的目录进行遍历,并将数据做一次json解析,将最终要处理的数据内容取出来

第三步 使用Hive处理数据

这里假定,日志文件的内容是一个文本,对应到一个key叫content。里面的多个字段使用|来分割,保存到OSS中的数据类似如下的格式 {"content":"1463987545149|12345|121.164.16.19|www.xxxx.com/user"}

若使用emr-1.0.x或者emr-1.1.x,其中的Hive版本是1.0.1,使用下面的sql

CREATE EXTERNAL TABLE logtable (logcontent string) stored AS textfile location 'oss://{accesskeyId}: {accesskeysecret}@{bucketname}.{endpoint}/{dirname}/';
set hive.mapred.supports.subdirectories=true;
set mapreduce.input.fileinputformat.input.dir.recursive=true;
select get_json_object(logcontent, '$.content') as content from logtable limit 10000;

若使用emr-1.2.x或者emr-1.3.x,其中的Hive版本是2.0.0,使用下面的sql

CREATE EXTERNAL TABLE logtable (logcontent string) stored AS textfile location 'oss://{accesskeyId}: {accesskeysecret}@{bucketname}.{endpoint}/{dirname}/';
set mapreduce.input.fileinputformat.input.dir.recursive=true;
select get_json_object(logcontent, '$.content') as content from logtable limit 10000;

accesskeyId,accesskeysecret就是你的akid,和secret
bucketname是OSS对应的bucket的名字
dirname是投递到OSS的目录,因为设置了遍历所有目录,所以只要写这一级目录就可以了
endpoint的配置可以参考这里 
get_json_object就是用来从json格式数据中将content这个key对应的内容取出来使用

接下来我们需要把要使用的字段都解析出来使用,比如UserId,Ip等等,我们使用分隔符|来对日志内容进行分割。
我这里是采用创建了一张新的表,而这张表的对应数据是保存在计算集群的HDFS上的

drop table if exists resulttable;
create table resulttable
  as
  select
    split(get_json_object(logcontent, '$.content'), "\\|")[0] as visit_time,
    split(get_json_object(logcontent, '$.content'), "\\|")[1] as user_id,
    split(get_json_object(logcontent, '$.content'), "\\|")[2] as visit_ip,
    split(get_json_object(logcontent, '$.content'), "\\|")[3] as visit_url 
  from logtable;

这张resulttable表就可以作为后续处理的起点,对数据进行各种统计,比如PV,UV等。

第四步 同步数据到Mysql

所有的数据计算完成以后,我们可以把结果同步到Mysql(RDS)中去。
要同步数据,请参考这里 使用Sqoop同步数据

目前同步数据还不是自动化的,后续E-MapReduce会有数据同步的作业支持,在计算完成以后,直接就进行数据同步。敬请期待。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值