日志分析
JackLi_csdn
这个作者很懒,什么都没留下…
展开
-
日志分析sql
CREATE EXTERNAL TABLE if not exists nginx_20160619( host STRING, uri STRING, request_method STRING, remote_addr STRING, http_marketChannelName STRING, http_hwMac STRING, http_et原创 2016-06-29 11:04:22 · 434 阅读 · 0 评论 -
日志
upload.sh#!/usr/bin/env bashdate=`date +%Y%m%d%H%M%S`scp /letv/data/wp.txt root@10.185.28.16:/letv/data/${date}_wp.txtssh 10.185.28.16 /letv/data/hadoop-2.6.0/bin/hadoop fs -put /letv/data/${date}_w原创 2016-05-04 12:10:01 · 332 阅读 · 0 评论 -
日志分析
要分析的字段:访问的资源、cookie(代表用户,因为ip是公网ip,很多人共用)、 步骤: 1、flume 采集数据,可以使用shell等脚本设置定时任务 2、对数据进行清洗 3、使用hive对数据进行分析(比如说外部分区表),自动执行 4、把hive分析的结果通过sqoop倒回到MySQL、hbase中 5、提供视图工具,类似报表原创 2016-05-10 10:55:30 · 320 阅读 · 0 评论 -
System.out.print与Log的比较
System.out.print的优点:直观、方便。Log的优点:异步、解耦、灵活、策略多。提到System.out.print,除了感觉到方便之外,还会想到其他的优点吗?似乎也就这个优点,syso快捷键瞬间就是一条打印语句,很顺手的一件事,除了这个感觉外,似乎也没有其他特别的感受了。System.out.print和java运行程序运行在同一线程,也就是说,业务程序会等待System.ou...转载 2018-10-20 19:23:45 · 7776 阅读 · 0 评论