前期准备
ELK官网:https://www.elastic.co/, 软件包下载和完善的文档资料。
Zookeeper官网:https://zookeeper.apache.org/
Kafka官网:http://kafka.apache.org/documentation.html,软件包下载和完善的文档资料。
Flume官网:https://flume.apache.org/
Heka官网:https://hekad.readthedocs.io/en/v0.10.0/
系统是centos6.6,64位机器。
所用软件版本:
Logstash:2.3.3
JDK:1.8.0_25
Elasticsearch:2.3.4
Kibana:4.5.2
Heka:0.10.0
Flume:1.7.0
Zookeeper:3.4.8
Kafka:0.8.2.2
Nginx:1.7.6
Kafka-manager:1.3.1.6
整体架构图
安装步骤
零.安装JDK
一.安装Zookeeper集群
二.安装Kafka集群
三.安装Elasticsearch集群
四.安装Flume
五.业务机器安装Heka
六.使用Logstash对接Kafka和Elasticsearch集群
七.安装Kibana
八.安装Nginx反向代理
九.安装kafka-manager
零.安装JDK
所有相关机器安装JDK,配置PATH, CLASS_PATH, JAVA_HOME
一.安装Zookeeper集群
准备