一、安装es
1、下载安装包
https://artifacts.elastic.co/downloads/kibana/kibana-7.17.0-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/logstash/logstash-7.17.10-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.0-linux-x86_64.tar.gz
2、上传本地虚拟机
可以用rz命令上传,也可用第三方工具上传
3、配置文件目录,解压到指定位置
[root@3659 data]# mkdir -p /data/apps
[root@3659 data]# tar xvf elasticsearch-7.17.0-linux-x86_64.tar.gz -C apps/
[root@3659 data]# tar xvf kibana-7.17.0-linux-x86_64.tar.gz -C apps/
[root@3659 data]# tar xvf logstash-7.17.10-linux-x86_64.tar.gz -C apps/
4、配置jdk
[root@3659 apps]# vim /etc/profile.d/java.sh
export JAVA_HOME=/data/apps/java
export PATH=$JAVA_HOME/bin:$PATH[root@3659 apps]# source /etc/profile.d/java.sh
5、系统配置
vim /etc/security/limits.conf 最后添加如下内容
# 配置文件句柄数
* - nofile 65536
* soft nofile 65535
* hard nofile 131072
# 配置 进程和线程数
* soft nproc 4096
* hard nproc 131072
# 配置 内存锁定交换
* soft memlock unlimited
* hard memlock unlimited
增加最大内存映射数(调整使用交换分区的策略)
vim /etc/sysctl.conf
vm.max_map_count=262144
sysctl -p 生效该配置
6、修改es配置
[root@3659 apps]# cd elasticsearch-7.17.0/config/
[root@3659 config]# cp elasticsearch.yml elasticsearch.yml_bak
cluster.name: my-application #节点名称
node.name: node-1 # 此节点在集群中的名字
cluster.initial_master_nodes: ["node-1"] # 集群中节点名称,此名称要和node.name对应
path.data: /data/apps/elasticsearch-7.17.0/data # 数据目录位置
path.logs: /data/apps/elasticsearch-7.17.0//logs # 日志目录位置
network.host: 0.0.0.0 # 绑定到0.0.0.0,允许任何ip来访问http.port: 9200 # 访问端口号
修改jvm堆
[root@3659 config]# vim jvm.options
-Xms4g
-Xmx4g
7、增加es用户和修改目录权限,启动es
[root@3659 config]# useradd es
[root@3659 config]# chown -R es.es /data/apps/elasticsearch-7.17.0/[es@3659 elasticsearch-7.17.0]$ ./bin/elasticsearch -d
8、验证
curl http://localhost:9200
二、安装kibana
[root@3659 apps]# mv kibana-7.17.0-linux-x86_64/ kibana-7.17.0
[root@3659 config]# vim kibana.yml
server.port: 5601 #服务端口
server.host: "0.0.0.0" #服务地址
server.basePath: "/kibana" #使用ng反向代理工程路径
elasticsearch.hosts: ["http://127.0.0.1:9200"] #访问es的url
logging.dest: /data/apps/kibana-7.17.0/logs/kibana.log #日志路径
启动kibiana
[root@3659 config]# chown -R es.es /data/apps/kibana-7.17.0/
[es@3659 kibana-7.17.0]$ ./bin/kibana &
nginx反向代理设置
location /kibana/ {
proxy_pass http://kibana_ip:5601;
proxy_set_header Host $host:5601;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Cookie $http_cookie;
rewrite ^/kibana/(.*)$ /$1 break;
}
验证访问
三、安装logstash
移动到解压目录位置
[root@3659 logstash-7.17.10]# cd /data/apps/logstash-7.17.10/config/
[root@3659 config]# chown -R es.es /data/apps/logstash-7.17.10/
[root@3659 config/]# su es
vim marketing-server.conf
input {
beats {
port => 5044
}
}filter {
json {
source => "message"
remove_field => [ "message" ]
}
}output {
elasticsearch {
hosts => ["http://es主机IP:9200"]
index => "index_audit-%{+YYYY.MM.dd}"
#user => "elastic"
#password => "changeme"
}
}
启动logstash
nohup /data/apps/logstash-7.17.10 /bin/logstash -f /data/apps/logstash-7.17.10 /config/marketing-server.conf > logstash.out 2>&1 &netstat -tnlp看有没有5044端口
四、安装filebeat
下载filebeat,上传到需要收集日志的机器节点
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.0-linux-x86_64.tar.gz
[root@3659 data]# tar xvf filebeat-7.17.0-linux-x86_64.tar.gz
[root@3659 data]# mv filebeat-7.17.0-linux-x86_64.tar.gz filebeat-7.17.0
[root@3659 data]# cd filebeat-7.17.0/
[root@3659 filebeat-7.17.0]# cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /apps/logs/audit/*.log #收集日志的路径
fields_under_root: true
fields:
indexName: index_audit
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
setup.kibana:
output.logstash:
hosts: ["logstash主机IP:5044"]
processors:
- add_host_metadata:
when.not.contains.tags: forwarded
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
启动filebeat
nohup ./filebeat -c filebeat.yml > filebeat.out 2>&1 &
然后查看kibana界面,索引已经显示