查看数据
hadoop fs -ls /tmp/wangchenlong/action_time
数据:2017-02-02 至 2017-02-28;2017-08-01 至 2017-08-24;即2月与8月数据;缺少1月数据;而1月数据被Hive转移至:
hadoop fs -ls /warehouse/action_time/
移动文件:
hadoop fs -mv /warehouse/action_time/user_id_* /tmp/wangchenlong/action_time/
转移全部1月数据,至/tmp/wangchenlong/action_time
;
查看日志文件
hadoop fs -ls /logs/django/
全部gz文件都已经提取完成用户时间,剩余日志:3月、4月、5月;
剩余工作:执行lzma日志,调研中,默认MR作业不支持lzma格式。