filebeat+kafka搭建

简单介绍：
因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zookeerper集群，建立分布式状态管理。开始准备环境，搭建集群：
zookeeper是基于Java环境开发的所以需要先安装Java 然后这里使用的zookeeper安装包版本为zookeeper-3.4.14，Kafka的安装包版本为kafka_2.11-2.2.0。
AMQP协议：Advanced Message Queuing Protocol （高级消息队列协议）是一个标准开放的应用层的消息中间件协议。AMQP定义了通过网络发送的字节流的数据格式。因此兼容性非常好，任何实现AMQP协议的程序都可以和与AMQP协议兼容的其他程序交互，可以很容易做到跨语言，跨平台。
一、首先做好kafka
1、准备三台服务器,推荐每台2个G，记得关闭防火墙
server1：10.0.0.41
server2：10.0.0.42
server3：10.0.0.43
2、三台都得配置jdk环境，1.8以上，修改主机名并且配置主机名

10.0.0.41
hostname kafka01
10.0.0.42
hostname kafka02
10.0.0.43
hostname kafka03

cat /etc/hosts
10.0.0.41 kafka01
10.0.0.42 kafka02
10.0.0.43 kafka03

3、下载zookeeper和Kafka到/opt下

cd /opt
wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz
tar xzvf zookeeper-3.4.14.tar.gz
tar xzvf kafka_2.11-2.2.0.tgz
mkdir -p /tmp/zookeeper/log
mkdir -p /tmp/zookeeper/data

4、生成并更改zookeeper的配置文件，三台服务器上都需要设置：

cp /opt/zookeeper-3.4.14/conf/zoo_sample.cfg /opt/zook