ELK日志系统搭建

资源下载地址

版本

• elasticsearch6.7.1
• logstash6.7.1
• kibana6.5.4

ElasticSearch安装

1.修改conf/elasticsearch.yml
节点承担着数据及master的角色，开放host。
因为服务器只剩下1G的内存，调了下jvm的参数为512m

cluster.name: es6.7  
node.name: node-1  
node.master: true  
node.data: true   
network.host: 0.0.0.0  

2.启动es
不能用root启动es，所以新建一个用户并分配权限

adduser es
chown -R es:es elasticsearch-6.7.1
su es
cd elasticsearch-6.7.1
./bin/elasticsearch

启动出现错误

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

vi /etc/sysctl.conf
vm.max_map_count = 262144
sysctl -p

Logstash安装

1.修改conf/logstash-simple.conf

2.启动Logstash

cd /home/es/logstash-6.7.1/config
vim logstash-simple.conf
cd logstash-6.7.1/bin
./bin/logstash -f config/logstash-simple.conf

启动后logstash读取日志文件，发送到es，并自动创建索引

启动Kibana

因为是windows启动，直接下载后点击kibana.bat

此处可能需要修改conf目录下的kibana.yml,将elasticsearch.url修改为你要连接的es地址，否则默认连接localhost:9200

测试

elasticsearch-head插件查看es数据（kibana其实也是可以看的)

echo “hello” >> dru.log

向日志末尾追加文字，可以看到logstash输出日志，并在es中查到

总结

这是最简单的elk搭建方式，此处省略了logstash对日志的解析及过滤，其最强大的地方就是过滤器filter,可以对日志进行格式化解析；es的索引也没有进行优化，默认创建了5个主副分片

Logstash配置详解
Logstash文档