filebeat&kafka本地部署之log采集与输出

    实现本地日志的采集与存储前提是安装配置filebeat、kafka，以及zookeeper，由于zookeeper已经配置完成，以下是前两者安装配置的步骤。

一、filebeat安装：

1. 下载解压安装包，创建日志采集文件夹log，eg：F:\filebeat-5.6.0-windows-x86_64\logs

(注：logs为新建文件夹，可在下面存放本机的log文件)

1. 进入解压文件filebeat-5.6.0-windows-x86_64，找到“filebeat.yml”文件，配置filebeat。

• 配置 Filebeat prospectors
• 配置 kafka output，enabled必须为“true”，hosts：为本地IP+kafka端口号

@启动filebeat

打开解压目录 在输入框打开cmd窗口执行命令：

.\filebeat -e -c filebeat.yml 就可以启动filebeat

二、kafka安装：

安装kafak之前需要有jdk以及zookeeper的配置环境。

1、进入kafka配置文件所在目录，F:\kafka_2.12-2.3.0

找到文件"server.properties"。

2、配置地址路径：修改log.dirs=/tmp/kafka-logs 为：log.dirs=F:\kafka_2.12-2.3.0\kafka-logs

3、kafka端口号：port=9092.

@启动kafka

启动kafka的前提，保证已将zookeeper的服务器zk.server开启了。

1、进入kafka安装目录，如我的安装路径为：F:\kafka_2.12-2.3.0

2、在F:\kafka_2.12-2.3.0地址栏打开cmd。

3、在命令行中输入：.\bin\windows\kafka-server-start.bat .\config\server.properties 。

• 创建主题：

创建主题，主题名为为"test"，

在F:\kafka_2.12-2.3.0\bin\windows路径下，打开cmd命令窗口，输入以下命令：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

（命令行中replicationfactor=1，原因是只存在一个kafka服务器在运行，后续可根据集群中kafka服务器个数来修改replicationfactor的数量，以便提高系统容错性等。）

• 创建生产者与消费者：

在F:\kafka_2.12-2.3.0\bin\windows路径下打开cmd窗口。

输入以下命令，启动生产者（producer）：

kafka-console-producer.bat --broker-list localhost:9092 --topic test

（注：该窗口不要关闭）

在F:\kafka_2.12-2.3.0\bin\windows路径下打开cmd窗口。

输入以下命令，启动消费者（consumer）：

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

加载的日志属性说明

@timestamp：消息发送时间

beat：Filebeat运行主机和版本信息

input_type：input类型

message：源数据日志信息

offset：该消息在源日志文件中的offset

source：源日志文件