logstash使用webhdfs插件指定输出字段存储数据到hdfs时间分层(还能保留原来数据)

第一次...发论坛(手抖)。。。以前只是开通账号,只是用来下载工具包看看而已,今天试试发一下。记录一下一个新的开始。2017-7-5;谢谢

基于项目新搭建环境-->部分工具版本

hadoop 2.6.5 ;hive-1.2.1

logstash 2.4.0; impala-2.8; elasticsesarch-5.4.1; spark-2.1.1; scala 2.12.2

jdk1.8;kafka 2.10;redis-3.0.7;zookeeper-3.4

正文：

一个简单需求,就是通过logstash(后期也会使用flume)接入数据,并且解析数据输入到webHDFS,根据获取系统日志产生的时间进行自动分年月日存储数据分区

第一步:

测试日志例子:

conf文件input内容:

input{
file{
#path => "/home/tina/HDFS/test.log"
#path => "/home/tina/HDFS/test0705.log"
#path => "/home/tina/HDFS/test070510.log