ELK搭建
1. 日志服务的架构图
2. 下载解压
logstash下载:wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz
解压:tar vxf logstash-2.3.4.tar.gz
Redis下载:自己去网上下吧,这里用的是3.2.0
解压:tar vxf ……
kibana下载:自己去网上下吧,这里用的是4.5.1
解压:tar vxf ……
3. 搭建logstash的中心服务器
3.1 安装redis
解压:tar vxf redis-3.2.0.tar.gz
建引用:ln -s redis-3.2.0.tar.gz redis
编译: cd redis-3.2.0; makePREFIX=/home/itest/software/redis install 中间的目录自定义
拷贝配置文件:cp ../redis-3.2.0/redis.conf . ,然后修改配置中的 daemonize 为 yes,同时可以修改它的配置文件 logfile的值。
运行:./bin/redis-server ./redis.conf
停止:./bin/redis-cli shutdown
打开端口6379:如果需要的话
3.2 安装redis 端的logstash
这个是解压可用的,主要在配置文件的配置上,参考配置文件如下:logstash_redis.conf,
注意:这里的输入就是redis,输出就是es了。
input {
file {
type => "log85"
start_position => "end"
path => ["/home/itest/new_fb_scorpio/log/*.log" ]
sincedb_path =>"/home/itest/software/logstash/sincedb-access"
ignore_older => 86400
discover_interval => 5
}
}
output {
redis {
host => "xx.xx.xx.xx"
port => "6379"
data_type => "list"
key => "logstash:redis"
}
}
配置测试:./bin/logstash --configtest ./logstash_redis.conf
启动:nohup ./bin/logstash -flogstash_redis.conf > logstash.log &
停止:直接 kill 吧
3.3 安装elasticsearch
参照这个家伙的单独安装文档吧,现在没有将来也会有的
3.4 安装kibala
安装应该是解压就可以用的
启动:./bin/kibana
停止:需要注意的是除了 kill 掉 kibana进程意外还需要kill掉相关的nodejs进程
3.5 安装shipper端的logstash
主要也是配置文件,例如:logstash_agent.conf
主要修改的是 file中的源文件路径,如果想简单的调试可以在output段中添加 stdout { }来添加一个标准输出的目标
input {
file {
type => "log205"
start_position => "end"
path => [ "/root/scorpio_job/log/*.log" ]
sincedb_path => "/home/software/logstash/sincedb-access"
ignore_older => 86400
discover_interval => 5
}
}
filter {
multiline {
pattern => "^\[20"
negate => true
what => "previous"
}
}
output {
redis {
host => "xx.xx.xx.xx"
port => "6379"
data_type => "list"
key => "logstash:redis"
password => "wMQxo8VWHfnvxi6J"
}
}
启动:./bin/logstash-f logstash_agent.conf
停止:直接 kill
4. 搭建supervisor
这是一个很牛逼的管理linux进程的东西,亲测好用。
安装:sudo pip install supervisor
配置: 先生成echo_supervisord_conf > /etc/supervisord.conf
再添加:尾部添加,例如logstash的agent可以这样配置
[program:logstash-agent]
command=/home/itest/software/logstash/bin/logstash-f /home/itest/software/logstash/logstash_agent.conf -l /home/itest/software/logstash/logstash.log
log_stderr=true
启动:supervisord
控制:supervisorctl 启动之后里边的命令可以help