Logstash安装部署配置

为了实现各业务平台日志信息采集到大数据平台hdfs上。之前的定技术栈是 flume->kafka->storm->hdfs. 其中通过storm需要写代码，稳定性，可扩展性，维护性不好。
从kafka到hdfs，有专门的日志工具logstash可以解决这个问题. 目前已经在我们的开发环境稳定的运行了一个礼拜（http://192.168.23.31:50070/explorer.html#/data/logstash）。
现请部署到生产环境。

logstash安装配置如下：
1. logstash下载安装, 下载比较慢的话，可以传给你。
wget -c https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.4-1.noarch.rpm
rpm -ivh logstash-2.3.4-1.noarch.rpm

2. logstash hdfs插件下载安装
git clone https://github.com/heqin5136/logstash-output-webhdfs-discontinued.git
cd logstash-output-webhdfs-discontinued
/opt/logstash/bin/plugin install logstash-output-webhdfs

3.logstash配置
vim /etc/logstash/conf.d/logstash.conf

input {
kafka {
zk_connect =>"192.168.1.50:2181,192.168.1.51:2181,192.168.1.52:2181" #kafka的zk集群地址，请改为生产环境
group_id => "hdfs" #消费者组，不要和ELK上的消费者一样
topic_id => "flume_kafka_channel_topic" #kafka topic，改为生产环境
consumer_id => "logstash-consumer-192.168.23.31" #消费者id，自定义
consumer_threads => 1
queue_size => 200
codec => plain{ charset => "UTF-8" }
auto_offset_reset => "smallest"
}
}

filter {
grok {
match => { "message" =>
#"%{TIMESTAMP_ISO8601:date} (?<thread_name>.+?\bhost\b.+?)(?<thread>.+?\bu001Cbi\b)(?<action>.+?\baction\b)(?<type>.+?\btype\b)(?<content>.*)"
"(?<thread>.+?\bu001Cbi\b)(?<action>.+?\baction\b)(?<type>.+?\btype\b)(?<content>.*)"
}
}
}

output {
#如果你一个topic中会有好几种日志，可以提取出来分开存储在hdfs上。
if [action] == "-action" and [type] == "-type" {
webhdfs {
workers => 2
host => "192.168.23.31" #hdfs的namenode地址，改为生产环境
port => 50070 #webhdfs端口
user => "root" #hdfs运行的用户啊，以这个用户的权限去写hdfs。
path => "/data/logstash/log-%{+YYYY}-%{+MM}/apiLog-%{+YYYY}-%{+MM}-%{+dd}.log" #按月建目录，按天建log文件。
flush_size => 500
#compression => "snappy" #压缩格式，可以不压缩
idle_flush_time => 10
retry_interval => 0.5
codec => plain{ charset => "UTF-8" }
}
}
}


4. logstash 配置检查，启动，停止
/etc/init.d/logstash configtest start stop