ELK简单部署以及使用
简介
- 此项目是使用filebeat轻量化日志采集工具,将日志采集到kafka,在使用logstash工具将日志采集到Elasticsearch中,使用kibana工具在web界面上进行各种搜索查看建立图标等操作。默认已经装好了kafka以及Elasticsearch。
下载安装
- 进入到官网https://www.elastic.co
- 找到产品
- - 点击下载
- 选择需要下载的工具点击下载
- 在past releases中可以选择其他版本点击下载就可以
- 下载好安装包以后进行解压、配置环境变量
修改配置文件
-
filebeat变量配置
-
首先进入到filebeat解压后的文件中
-
cd filebeat-6.4.3-linux-x86_64
-
-
修改filebeat.yml中的配置
-
vi filebeat.yml
-
-
修改成以下值
-
filebeat.inputs: - type: log enabled: true paths: - /data/filebeattest/logs/*.log //需要采集的日志地址 output.kafka: hosts: ["hadoop110:9092"] //kafka的地址 如果使用hadoop这种类型的名字需要在本节点上配置 hosts文件 topic: 'filelog' //kafka中的topic partition.round_robin: reachable_only: false required_acks: 1 compression: gzip max_message_bytes: 1000000
-
-
启动filebeat的指令
-
filebeat -c filebeat.yml
-
-
-
logstash变量配置
-
进入到logstash的解压文件中
-
cd logstash-6.4.3
-
-
创建一个配置文件的文件夹conf 并在文件夹里创建一个配置文件kafka-elasticsearch.conf
-
mkdir conf cd conf touch kafka-elasticsearch.conf
-
-
给配置文件加上配置信息
-
vi kafka-elasticsearch.conf input { kafka { topics => ["filelog"] bootstrap_servers => "hadoop110:9092" } } output { elasticsearch { hosts => ["hadoop110:9200"] } }
-
-
启动logstash
-
logstash -f conf/kafka-elasticsearch.conf
-
-
-
配置kibana
-
进入到kibana的解压文件中
-
cd kibana-6.4.3-linux-x86_64
-
-
修改一些需要的变量配置
-
cd confog vi kibana.yml server.port: 5601 elasticsearch.url: "http://hadoop110:9200" 根据实际需要修改
-
-
启动kibana
-
bin/kibana
-
-
启动检查效果
- 进入到kibana的web界面查看效果
- 看到我们创建的索引已经存在了就说明我们的真个过程已经成功了