Elasticsearch8.4.1(ELK)安装文档

下载地址:Download Elasticsearch | Elastic

Elasticsearch 版本[8.4.1]

修改 jvm.options

-Xms8g
-Xmx8g

修改 elasticsearch.yml

cluster.name: my-application
node.name: node-1
path.data: /目录/elasticsearch-8.4.1/data
path.logs: /目录/elasticsearch-8.4.1/logs
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
xpack.security.enabled: false
ingest.geoip.downloader.enabled: false

修改 /etc/security/limits.conf文件

vim /etc/security/limits.conf
在文件内容最后添加后面两行(切记*不能省略)
* soft nofile 65536
* hard nofile 65536

修改/etc/sysctl.conf文件

vim /etc/sysctl.conf
最后添加一行
vm.max_map_count=655360
修改完成后执行命令：sysctl -p

新建一个用户（出于安全考虑，elasticsearch默认不允许以root账号运行。）

创建用户：useradd esuser
设置密码：passwd esuser

将elasticsearch-8.4.1文件夹下的所有目录的所有权限迭代给esuser用户

chgrp -R esuser /opt/elasticsearch-8.4.1
chown -R esuser /opt/elasticsearch-8.4.1
chmod -R  777 /opt/elasticsearch-8.4.1
然后切换到esuser用户启动（只有在启动的时候切换到esuser用户启动,其他操作记得切换为root）

启动elasticsearch

su esuser
在bin目录下启动
./elasticsearch &(&为后台启动,再次提示es消息时 Ctrl + c 跳出)

Logstash 版本[8.4.1]

增加gateway-logstash.conf文件

input{
      beats {
        port => "5044"
        codec => "json"
   }
}
filter {
  mutate {
    remove_field => [ "event" ]
  }
    }
  date {
        match => [ "time", "yyyy-MM-dd HH:mm:ss.SSS", "ISO8601" ]
        locale => "cn"
        timezone => "Asia/Shanghai"
  }
 }
output {
    elasticsearch {
        hosts => [ "ES地址:9200"] 
        index =>  "%{[fields][api-log-type]}-%{+YYYY.MM.dd}"
        document_type => "log"
    }
}

启动logstash

# -f 执行配置文件  & 后台启动
./logstash -f /opt/logstash-8.4.1/config/gateway-logstash.conf &

Filebeat 版本[8.4.1]

在安装应用的服务器上安装采集应用的日志

增加gateway-filebeat.yml文件

filebeat.inputs:
- type: log
  paths: ["/opt/idc/apps/api.gateway.log*"] #日志存放地址
  encoding: UTF-8
  fields:
    api-log-type: api-gateway-log
- type: log
  paths: ["/opt/idc/api.gateway.trace.log*"] #日志存放地址
  encoding: UTF-8
  fields:
    api-log-type: api-gateway-trace.log
output.logstash:
  hosts: ["Logstash地址:5044"]

启动filebeat

# -e 动态显示 -c 执行配置文件  & 后台启动
./filebeat -e -c gateway-filebeat.yml &

Kibana 版本[8.4.1]

修改配置文件

/kibana-8.4.1/config/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://ES地址:9200"]    

将kibana-8.4.1文件夹下的所有目录的所有权限迭代给esuser用户

chgrp -R esuser /opt/kibana-8.4.1
chown -R esuser /opt/kibana-8.4.1
chmod -R  777 /opt/kibana-8.4.1
然后切换到esuser用户启动（只有在启动的时候切换到esuser用户启动,其他操作记得切换为root）

启动kibana-8.4.1

./kibana &