第一次...发论坛(手抖)。。。以前只是开通账号,只是用来下载工具包看看而已,今天试试发一下。记录一下一个新的开始。2017-7-5;谢谢
基于项目新搭建环境-->部分工具版本
hadoop 2.6.5 ;hive-1.2.1
logstash 2.4.0; impala-2.8; elasticsesarch-5.4.1; spark-2.1.1; scala 2.12.2
jdk1.8;kafka 2.10;redis-3.0.7;zookeeper-3.4
正文:
一个简单需求,就是通过logstash(后期也会使用flume)接入数据,并且解析数据输入到webHDFS,根据获取系统日志产生的时间进行自动分年月日存储数据分区
第一步:
测试日志例子:
conf文件input内容:
input{
file{
#path => "/home/tina/HDFS/test.log"
#path => "/home/tina/HDFS/test0705.log"
#path => "/home/tina/HDFS/test070510.log