前言,以下搭建步骤基于该图,图是从
斑马工https://blog.csdn.net/u014526891复制过来的
1.搭建elasticsearch
1.1官网下载rpm安装包:下载 Elastic 产品 | Elastic
1.2安装:rpm -ivh elasticsearch-7.6.2-x86_64.rpm
1.3编辑elasticsearch配置文件
vi /etc/elasticsearch/elasticsearch.yml
如下:
cluster.name: my-application #集群名可自行修改
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0 #不指定服务器
cluster.initial_master_nodes: ["node-1"]
1.4修改文件所有者
chown elasticsearch:elasticsearch -R /var/lib/elasticsearch chown elasticsearch:elasticsearch -R /var/log/elasticsearch
1.5设置成开机自启
systemctl enable elasticsearch.service
1.6启动、停止、查看状态命令
//启动 systemctl start elasticsearch.service
//停止 systemctl stop elasticsearch.service
//查看状态 systemctl status elasticsearch.service
1.7验证
curl http://服务器:9200或者直接浏览器输入地址,出现elasticsearch版本号等基本信息即成功
2.kibana安装
2.1下载相同版本号kibana
2.2安装:rpm -ivh kibana-7.6.2-x86_64.rpm
2.3修改kibana.yml配置文件
vim /etc/kibana/kibana.yml 如下: server.port: 5601 server.host: "0.0.0.0" elasticsearch.hosts: ["http://服务器:9200"] i18n.locale: "zh-CN"
2.4启动、停止、查看状态
//启动服务 systemctl start kibana.service (如果报启动失败,找不到该服务,麻烦进入该服务bin下面,好像是bin,记不清了,可自行搜索,用它自带脚本启动) //查看状态 systemctl status kibana.service //停止服务 systemctl stop kibana.service //设置服务开机自启 systemctl enable kibana.service
2.5验证
如上方法验证,出现kibana可视化界面即成功
3.安装logstash
3.1安装:rpm -ivh logstash-7.6.2.rpm
3.2 如果logstash文件下无con.f文件夹需创建,然后在其底下创建 logstash.conf文件
确定input(kafka)可加 filter处理数据 然后output 到elasticsearch
3.3启动
systemctl start logstash.service #启动服务
systemctl enable logstash.service #配置开机自启动
4.安装filebeat
4.1安装:rpm -ivh filebeat-7.6.2-x86_64.rpm
4.2修改配置文件
vim ./filebeat/filebeat.yml
如下:
filebeat.inputs:
enabled: true
注释了elasticsearch的日志输出,放开kafak的日志输出
5.kafka搭建
5.1.下载kafka安装包解压
5.2.提前创建好zookeeper和kafka数据/日志文件(自定义)
mkdir /var/lib/zookeeper #创建zookeeper数据目录 mkdir /var/log/zookeeper #创建日志目录 mkdir /var/lib/kafka mkdir /var/log/kafka #创建kafka日志目录
5.3
5.3.1修改zookeeper配置文件
vi /opt/kafka/kafka_2.11-0.9.0.1/config/zookeeper.properties
如下:
修改为自定义的zookeeper数据目录 dataDir=/var/lib/zookeeper #修改为自定义的zookeeper日志目录 dataLogDir=/var/log/zookeeper # 端口 clientPort=2181 #设置连接参数,添加如下配置 tickTime=2000 #为zk的基本时间单元,毫秒 initLimit=10 #Leader-Follower初始通信时限 tickTime*10 syncLimit=5 #Leader-Follower同步通信时限 tickTime*5 #设置broker Id的服务地址 server.0=服务器:2888:3888
5.3.2创建zookeeper myid文件:cd /var/lib/zookeeper 然后 echo "0" >myid(myid唯一,多台服务器多个)
5.3.3就进入kafka目录 执行启动zookeeper命令:
./bin/zookeeper-server-start.sh config/zookeeper.properties &
5.4
5.4.1修改kafka配置文件
vi /opt/kafka/kafka_2.11-0.9.0.1/config/server.properties
如下:
broker.id=1 zookeeper.connect=服务器:2181 log.dirs=/var/log/kafka
5.4.2kafka目录下 启动kafka
bin/kafka-server-start.sh config/server.properties &
5.4.2执行jps明显查看kafka是否启动
5.4.3
1.创建一个topic
[root@elk-1 /data/kafka]# ./bin/kafka-topics.sh --create --zookeeper 192.168.81.210:2181 --replication-factor 1 --partitions 1 --topic testpic
Created topic "testpic".
2.查看topic
[root@elk-1 /data/kafka]# ./bin/kafka-topics.sh --list --zookeeper 192.168.81.210:2181,192.168.81.220:2181,192.168.81.230:2181
如果报zookeeper is not a recognized,将--zookeeper 换成--bootstrap-server zookeeper端口号2081改成kafak端口号 9092
3.查看topic的描述信息
[root@elk-1 /data/kafka]# ./bin/kafka-topics.sh --describe --zookeeper 192.168.81.210:2181,192.168.81.220:2181,192.168.81.230:2181 --topic testpic
#删除一个topic
[root@elk-1 /data/kafka]# ./bin/kafka-topics.sh --delete --zookeeper 192.168.81.210:2181 --topic testpic