ELEK+kafka搭建日志平台（linux）

前言，以下搭建步骤基于该图，图是从

 

斑马工https://blog.csdn.net/u014526891复制过来的

 1.搭建elasticsearch

1.1官网下载rpm安装包：下载 Elastic 产品 | Elastic

1.2安装：rpm -ivh elasticsearch-7.6.2-x86_64.rpm

1.3编辑elasticsearch配置文件

vi /etc/elasticsearch/elasticsearch.yml

如下：

cluster.name: my-application  #集群名可自行修改

node.name: node-1

path.data: /var/lib/elasticsearch 

path.logs: /var/log/elasticsearch

network.host: 0.0.0.0 #不指定服务器

cluster.initial_master_nodes: ["node-1"]

1.4修改文件所有者

chown elasticsearch:elasticsearch -R /var/lib/elasticsearch

chown elasticsearch:elasticsearch -R /var/log/elasticsearch

1.5设置成开机自启

systemctl enable elasticsearch.service

1.6启动、停止、查看状态命令

//启动 systemctl start elasticsearch.service

//停止 systemctl stop elasticsearch.service

//查看状态 systemctl status elasticsearch.service

1.7验证

curl http://服务器:9200或者直接浏览器输入地址，出现elasticsearch版本号等基本信息即成功

2.kibana安装

2.1下载相同版本号kibana

2.2安装：rpm -ivh kibana-7.6.2-x86_64.rpm

2.3修改kibana.yml配置文件

vim /etc/kibana/kibana.yml
如下：
server.port: 5601

server.host: "0.0.0.0"

elasticsearch.hosts: ["http://服务器:9200"]

i18n.locale: "zh-CN"

2.4启动、停止、查看状态

//启动服务
systemctl start kibana.service （如果报启动失败，找不到该服务，麻烦进入该服务bin下面，好像是bin，记不清了，可自行搜索，用它自带脚本启动）
//查看状态
systemctl status kibana.service
//停止服务
systemctl stop kibana.service
//设置服务开机自启
systemctl enable kibana.service 

2.5验证

如上方法验证，出现kibana可视化界面即成功

3.安装logstash

3.1安装：rpm -ivh logstash-7.6.2.rpm

3.2 如果logstash文件下无con.f文件夹需创建，然后在其底下创建 logstash.conf文件

确定input（kafka）可加 filter处理数据 然后output 到elasticsearch

3.3启动

 systemctl start logstash.service    #启动服务

 systemctl enable logstash.service    #配置开机自启动

4.安装filebeat

4.1安装：rpm -ivh filebeat-7.6.2-x86_64.rpm

4.2修改配置文件

vim ./filebeat/filebeat.yml

如下：

filebeat.inputs:

enabled: true

注释了elasticsearch的日志输出，放开kafak的日志输出

5.kafka搭建

5.1.下载kafka安装包解压

5.2.提前创建好zookeeper和kafka数据/日志文件（自定义）

mkdir /var/lib/zookeeper        #创建zookeeper数据目录
mkdir /var/log/zookeeper             #创建日志目录
mkdir /var/lib/kafka     
mkdir /var/log/kafka        #创建kafka日志目录

5.3

5.3.1修改zookeeper配置文件

vi /opt/kafka/kafka_2.11-0.9.0.1/config/zookeeper.properties

如下：

修改为自定义的zookeeper数据目录
dataDir=/var/lib/zookeeper
#修改为自定义的zookeeper日志目录
dataLogDir=/var/log/zookeeper
# 端口
clientPort=2181
#设置连接参数，添加如下配置
tickTime=2000　　　　#为zk的基本时间单元，毫秒
initLimit=10　　　　 #Leader-Follower初始通信时限 tickTime*10
syncLimit=5　　　　　#Leader-Follower同步通信时限 tickTime*5
#设置broker Id的服务地址
server.0=服务器:2888:3888

5.3.2创建zookeeper myid文件：cd /var/lib/zookeeper  然后 echo "0" >myid（myid唯一，多台服务器多个）

5.3.3就进入kafka目录 执行启动zookeeper命令： 
./bin/zookeeper-server-start.sh config/zookeeper.properties & 

5.4

5.4.1修改kafka配置文件

vi /opt/kafka/kafka_2.11-0.9.0.1/config/server.properties

如下：

broker.id=1
zookeeper.connect=服务器:2181
log.dirs=/var/log/kafka

5.4.2kafka目录下 启动kafka

bin/kafka-server-start.sh config/server.properties &

5.4.2执行jps明显查看kafka是否启动

5.4.3

1.创建一个topic
[root@elk-1 /data/kafka]# ./bin/kafka-topics.sh --create --zookeeper 192.168.81.210:2181 --replication-factor 1 --partitions 1 --topic testpic
Created topic "testpic".

2.查看topic
[root@elk-1 /data/kafka]# ./bin/kafka-topics.sh --list --zookeeper 192.168.81.210:2181,192.168.81.220:2181,192.168.81.230:2181
如果报zookeeper is not a recognized，将--zookeeper 换成--bootstrap-server   zookeeper端口号2081改成kafak端口号 9092

3.查看topic的描述信息
[root@elk-1 /data/kafka]# ./bin/kafka-topics.sh --describe --zookeeper 192.168.81.210:2181,192.168.81.220:2181,192.168.81.230:2181 --topic testpic

#删除一个topic
[root@elk-1 /data/kafka]# ./bin/kafka-topics.sh --delete --zookeeper 192.168.81.210:2181  --topic testpic