关闭

日志分析sql

CREATE EXTERNAL TABLE if not exists nginx_20160619( host STRING, uri STRING, request_method STRING, remote_addr STRING, http_marketChannelName STRING, http_hwMac STRING, http_et...
阅读(134) 评论(0)

日志分析

要分析的字段:访问的资源、cookie(代表用户,因为ip是公网ip,很多人共用)、 步骤: 1、flume 采集数据,可以使用shell等脚本设置定时任务 2、对数据进行清洗 3、使用hive对数据进行分析(比如说外部分区表),自动执行 4、把hive分析的结果通过sqoop倒回到MySQL、hbase中 5、提供视图工具,类似报表...
阅读(125) 评论(0)

日志

upload.sh#!/usr/bin/env bash date=`date +%Y%m%d%H%M%S` scp /letv/data/wp.txt root@10.185.28.16:/letv/data/${date}_wp.txt ssh 10.185.28.16 /letv/data/hadoop-2.6.0/bin/hadoop fs -put /letv/data/${date}_w...
阅读(161) 评论(0)
    个人资料
    • 访问:23567次
    • 积分:950
    • 等级:
    • 排名:千里之外
    • 原创:57篇
    • 转载:88篇
    • 译文:0篇
    • 评论:0条
    文章分类
    阅读排行
    评论排行