在上一节,我写了个产生日志的小程序,通过flume上传到了hdfs,同时hive也安装好了,这次我们试试用hive分析一下上传的日志。
再看一看现在hdfs的情况把
接下来创建外部表
这里对得比较辛苦,创建了几次都漏了字段,可以的话还是下载个管理工具比较好。
创建成功后,就是一般的sql操作了,我比较熟悉oracle,语法上有点差别,遇到无法执行的sql查一下就是了。
where rownum<=10变成了limit 10
没有表头看起来不方便
set hive.cli.print.header=true;
set hive.resultset.use.unique.column.names=false;
最后分析一下今天运行中发生EC错误的传感器处于error或warn状态的设备的平均速度吧。
结束。