Linux单点部署 ELK7.8.1+kafka

elasticsearch 7.8.1   

Kibana 7.8.1  

Logstash7.8.1  

kafka_2.13-2.6.0 百度云安装包

链接：https://pan.baidu.com/s/1Z2rlLm1FEaQ0AMMriuySVw 
提取码：1234 

安装elasticsearch (这个版本自带jdk,若本机有jdk,卸载本机的jdk 并重启  )

cd /opt

mkdir elasticsearch

rz   #上传es的压缩包

tar -zxvf elasticsearch-7.8.1-linux-x86_64.tar #解压

vim /etc/sysctl.conf   #修改内核参数

vm.max_map_count=655360  #在文件最后加入

:wq  #保存退出

sysctl -p  #使配置生效

vim /opt/elasticsearch/elasticsearch-7.8.1/config/elasticsearch.yml  #修改配置文件

cluster.name: my-application #集群名称

node.name: node-1 #节点名称

path.data: /opt/elasticsearch/elasticsearch-7.8.1/data #数据存放路径

path.logs: /opt/elasticsearch/elasticsearch-7.8.1/logs #日志存放路径

network.host: 0.0.0.0 #允许连接ElasticSearch的ip，0.0.0.0表示所有ip

http.port: 9200 #端口号

cluster.initial_master_nodes: ["node-1"] #集群节点设置

:wq  #保存退出

adduser es #添加新用户 root用户启动会失败

passwd es  #然后给创建的用户加密码  输入两次密码.

chown -R es /opt/elasticsearch/  #给新建的es赋权限

vim /etc/security/limits.conf  #修改资源参数,增加配置，文件打开数太小限制.用户退出后重新登录生效

es soft nofile 65536

es hard nofile 131072

root soft nproc 65536

root hard nproc 131072

:wq  #保存退出

su es #切换到es用户启动服务，root用户启动会报错，

cd /opt/elasticsearch/elasticsearch-7.8.1/bin/  #cd到启动目录

./elasticsearch -d #后台启动elasticsearch

curl 127.0.0.1:9200 #看到如下信息，大功告成

安装Kibana

cd /opt

mkdir kibana

rz   #上传kibana的压缩包

tar -zxvf kibana-7.8.1-linux-x86_64.tar #解压

vim kibana-7.7.0-linux-x86_64/config/kibana.yml  #修改配置文件

server.port:5601  #一定不要和ES的端口号一致，默认为5601

server.host: "0.0.0.0" #必须要带上双引号，否则不生效

elasticsearch.hosts: "http://ES主机IP:9200"   #一定要带双引号和http://

i18n.locale: "zh-CN" #中文UI

:wq #保存退出

su es #切换到es用户启动服务，root用户启动会报错

cd /opt/kibana/kibana-7.8.1-linux-x86_64/bin/  #cd到启动目录

./kibana  #运行kibana

systemctl status firewalld.service  #centos查看防火墙状态

systemctl stop firewalld.service  #centos关闭防火墙

在浏览器地址栏中输入：主机IP：5601

安装kafka

cd /opt

mkdir kafka

rz   #上传kafka的压缩包

tar -zxvf  kafka_2.13-2.6.0.tgz

先配置zookeeper

cd kafka_2.13-2.6.0

vim config/zookeeper.properties  #编辑配置文件

dataDir=/data/soft/kafka/data   #事先建好

dataLogDir=/data/soft/kafka/log  #事先建好

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

admin.enableServer=false

:wq #保存退出

bin/zookeeper-server-start.sh config/zookeeper.properties  #配置后直接在kafka_2.13-2.6.0目录启动zookeeper

再配置kafka

vim config/server.properties

broker.id=0

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://本机IP:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/data/log/kafka

num.partitions=2

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

:wq  #保存退出

bin/kafka-server-start.sh config/server.properties  #在kafka_2.13-2.6.0目录启动kafka

安装Logstash

cd /opt

mkdir logstash

rz   #上传logstash的压缩包

tar -zxvf logstash-7.8.1.tar.gz #解压

cd logstash-7.8.1

mkdir etc  #创建etc文件夹

cd etc

vim logstash_out_es  创建logstash_out_es文件并编辑

input {
    kafka {
    # logstash 导出数据解码方式
    codec => "plain"
    # 消费组
    group_id => "kafka_elk_group"
    # 消费者标识
    topics => "test"
    # 连接kafka集群配置
    bootstrap_servers => "kafkaIP:9092"
    # 消费起始位置
    auto_offset_reset => "earliest"
    # 消费者线程数
    consumer_threads => 5
  }
}
output {
    # 导入elasticsearch
    elasticsearch {
    # elasticsearch 集群地址，多个地址以逗号隔开
    hosts => ["esIP:9200"]
    # 指定数据导入elasticsearch格式
    codec => "plain"
    # 创建索引 topics+时间
    index => "test-%{+YYYY.MM.dd}"
  }
}

:wq  #保存退出

cd ../bin  #回到logstash-7.8.1/bin 目录执行启动命令

./logstash -f ../etc/logstash_out_es  #启动logstash