Linux离线部署ELK1.17版本

一、安装es

1、下载安装包

https://artifacts.elastic.co/downloads/kibana/kibana-7.17.0-linux-x86_64.tar.gz

https://artifacts.elastic.co/downloads/logstash/logstash-7.17.10-linux-x86_64.tar.gz

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.0-linux-x86_64.tar.gz

2、上传本地虚拟机

可以用rz命令上传，也可用第三方工具上传

3、配置文件目录，解压到指定位置

[root@3659 data]# mkdir -p /data/apps
[root@3659 data]# tar xvf elasticsearch-7.17.0-linux-x86_64.tar.gz -C apps/
[root@3659 data]# tar xvf kibana-7.17.0-linux-x86_64.tar.gz -C apps/
[root@3659 data]# tar xvf logstash-7.17.10-linux-x86_64.tar.gz -C apps/

4、配置jdk

[root@3659 apps]# vim /etc/profile.d/java.sh

export JAVA_HOME=/data/apps/java
export PATH=$JAVA_HOME/bin:$PATH

[root@3659 apps]# source /etc/profile.d/java.sh

5、系统配置

vim /etc/security/limits.conf 最后添加如下内容

# 配置文件句柄数 
* - nofile 65536
* soft nofile 65535
* hard nofile 131072
# 配置 进程和线程数
* soft nproc 4096
* hard nproc 131072
# 配置 内存锁定交换
*  soft memlock unlimited
*  hard memlock unlimited
 

增加最大内存映射数(调整使用交换分区的策略)

vim /etc/sysctl.conf

vm.max_map_count=262144

sysctl -p 生效该配置

6、修改es配置

[root@3659 apps]# cd elasticsearch-7.17.0/config/

[root@3659 config]# cp elasticsearch.yml elasticsearch.yml_bak

cluster.name: my-application                          #节点名称

node.name: node-1                                        # 此节点在集群中的名字

cluster.initial_master_nodes: ["node-1"]        # 集群中节点名称，此名称要和node.name对应

path.data: /data/apps/elasticsearch-7.17.0/data        # 数据目录位置

path.logs: /data/apps/elasticsearch-7.17.0//logs        # 日志目录位置
network.host: 0.0.0.0                                                  # 绑定到0.0.0.0，允许任何ip来访问

http.port: 9200                                                             # 访问端口号

修改jvm堆

[root@3659 config]# vim  jvm.options

-Xms4g
-Xmx4g

7、增加es用户和修改目录权限，启动es

[root@3659 config]# useradd es
[root@3659 config]# chown -R es.es /data/apps/elasticsearch-7.17.0/

[es@3659 elasticsearch-7.17.0]$ ./bin/elasticsearch -d

8、验证

curl http://localhost:9200

二、安装kibana 

[root@3659 apps]# mv kibana-7.17.0-linux-x86_64/ kibana-7.17.0

[root@3659 config]# vim kibana.yml 

server.port: 5601                                                                #服务端口

server.host: "0.0.0.0"                                                          #服务地址

server.basePath: "/kibana"                                                 #使用ng反向代理工程路径 

elasticsearch.hosts: ["http://127.0.0.1:9200"]                     #访问es的url

logging.dest: /data/apps/kibana-7.17.0/logs/kibana.log     #日志路径

启动kibiana

[root@3659 config]# chown -R es.es /data/apps/kibana-7.17.0/
 [es@3659 kibana-7.17.0]$ ./bin/kibana &

nginx反向代理设置

 location /kibana/ {
                proxy_pass http://kibana_ip:5601;
                proxy_set_header Host $host:5601;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Cookie $http_cookie;
                rewrite ^/kibana/(.*)$ /$1 break;
        }

验证访问

三、安装logstash

移动到解压目录位置

[root@3659 logstash-7.17.10]# cd /data/apps/logstash-7.17.10/config/

[root@3659 config]# chown -R es.es /data/apps/logstash-7.17.10/

[root@3659 config/]# su  es

vim marketing-server.conf

input {
  beats {
    port => 5044
  }
}

filter {
  json {
      source => "message"
      remove_field => [ "message" ]
    }
}

output {
  elasticsearch {
    hosts => ["http://es主机IP:9200"]
    index => "index_audit-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

启动logstash

nohup /data/apps/logstash-7.17.10 /bin/logstash -f /data/apps/logstash-7.17.10 /config/marketing-server.conf > logstash.out 2>&1 &

netstat -tnlp看有没有5044端口

四、安装filebeat

下载filebeat，上传到需要收集日志的机器节点

 https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.0-linux-x86_64.tar.gz

[root@3659 data]# tar xvf filebeat-7.17.0-linux-x86_64.tar.gz

[root@3659 data]# mv filebeat-7.17.0-linux-x86_64.tar.gz filebeat-7.17.0

[root@3659 data]# cd filebeat-7.17.0/

[root@3659 filebeat-7.17.0]# cp filebeat.yml filebeat.yml.bak

vim filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /apps/logs/audit/*.log                #收集日志的路径
  fields_under_root: true
  fields:
      indexName: index_audit
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
output.logstash:
  hosts: ["logstash主机IP:5044"]
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

启动filebeat

nohup ./filebeat -c filebeat.yml > filebeat.out 2>&1 &

然后查看kibana界面，索引已经显示