ELK+Kafka+Filebeat 日志架构部署

先做域名解析，三台机器都做

1. 安装jdk到/usr/local目录下改名java（方便区分），配置环境变量

更新一下环境变量（每台机器都更新）

看看能不能看到java版本

安装kafka到/usr/local下（3台机子都安装）

用scp方式，速度更快，jdk也可以用这种方式传

打开配置文件并修改

全部注释掉

加入以下数据：（每台机器都修改）

dataDir=/opt/data/zookeeper/data 

dataLogDir=/opt/data/zookeeper/logs

clientPort=2181 

tickTime=2000 

initLimit=20 

syncLimit=10 

server.1=192.168.246.231:2888:3888

server.2=192.168.246.234:2888:3888

server.3=192.168.246.235:2888:3888

注意不要有空格

参数含义：

dataDir ZK数据存放目录。

dataLogDir  ZK日志存放目录。

clientPort  客户端连接ZK服务的端口。

tickTime        ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。

initLimit       允许follower连接并同步到Leader的初始化连接时间，当初始化连接时间超过该值，则表示连接失败。

syncLimit   Leader与Follower之间发送消息时如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。

server.1=172.16.244.31:2888:3888    2888是follower与leader交换信息的端口，3888是当leader挂了时用来执行选举时服务器相互通信的端口。

创建日志目录及myid文件，3台都创建（myid文件按1，2，3顺序排）

修改kafka配置文件（3台都修改）

加入以下配置文件

broker.id=3

listeners=PLAINTEXT://192.168.246.235:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/opt/data/kafka/logs

num.partitions=6

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=2

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=536870912

log.retention.check.interval.ms=300000

zookeeper.connect=192.168.246.231:2181,192.168.246.234:2181,192.168.246.235:2181

zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0

启动并验证kafka

在第一台机上创建topic

用其他两台机查询

第一台机模拟消费

第二台机接受成功

 

logstash服务器修改配置文件

重启

下载filebeat

进入配置文件目录，把原本主配改个名，在重新写个配置文件

参数含义

filebeat.prospectors:

- input_type: log        #指定输入的类型

  paths:

    -  /var/log/nginx/*.log      #日志的路径

  json.keys_under_root: true

  json.add_error_key: true

  json.message_key: log

output.kafka:

  hosts: ["192.168.246.234:9092","192.168.246.231:9092","192.168.246.235:9092"]   #kafka服务器

  topic: 'nginx'        #输出到kafka中的topic

下面三行配置，只针对于收集json格式的日志，如收集的不是json格式，可以擦除

json.keys_under_root: true #keys_under_root可以让字段位于根节点，默认为false

json.add_error_key: true #将解析错误的消息记录储存在error.message字段中

json.message_key: log #message_key是用来合并多行json日志使用的

启动filebeat

已生成topic

用kibana查看