ELK搭建日志

一 elasticsearch安装

1.下载

有手就行

2.解压重命名

有手就行

3.修改配置

config/jvm.options：

## 服务器太渣，将Xms和Xmx修改为512m
-Xms512m
-Xmx512m

config/elasticsearch.yml：

## network模块新增
network.host: 0.0.0.0
## Discovery新增
cluster.initial_master_nodes: ["node-1"]
## Node新增
node.name: node-1

若第一次配置es

sysctl -w vm.max_map_count=262144
// 在/etc/sysctl.conf文件最后添加一行
vm.max_map_count=262144

4.新增用户

es禁止已root用户启动es，所以需要新增用户，并将对应的文件夹权限分给用户

useradd es

chown -R es:es /usr/local/elkb

5.启动

./elasticsearch -d

二 kibana安装

1.下载

有手就行

2.解压重命名

有手就行

3.修改配置

kibana.yml

## kibana中文包
i18n.locale: "zh-CN"
## 远程访问
server.host: 0.0.0.0

4.启动

nohup ./kibana >/dev/null 2>&1 &

5.pipeline配置

pattern

[
    {
      "grok": {
        "field": "message",
        "patterns": ["%{NOTSPACE:date}[T ]%{TIME:time}[T ]%{WORD:logType}[T ]%{NOTSPACE:thread}[T ]%{NOTSPACE:class}[T ]%{GREEDYDATA:msg}"]
      }
    }
  ]

input

2020-12-30 10:49:00,997 WARN [http-nio-8118-exec-5] c.n.g.c.exception.ExceptionResolver [ExceptionResolver.java : 41] 业务异常

三 FileBeat使用

1.下载

有手就行

2.解压重命名

有手就行

3.修改配置

#=========================== Filebeat inputs ==============
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log         ##后端日志位置
  pipeline: xklog            ##管道
  
  multiline.pattern: ^\[
  multiline.negate: true     ##false改为true
  multiline.match: after

#============================== Kibana ==================
setup.kibana:
	host: "192.168.101.5:5601"

#-------------------------- Elasticsearch output ---------
output.elasticsearch:
  	hosts: ["localhost:9200"]
pipelines:
  - pipeline: xklog

4.启动filebeat

./filebeat -e -c filebeat.yml -d "publish"