ELK安装文档

ELK
是由： Elasticsearch Logstash Kibana 组合而成

elasticsearch
是一款使用java开发的开源搜索引擎！能够提供日志数据的存储、搜索、分析3大功能，拥有高效的搜索功能，也可以实现分布式扩展！实现高并发和高可用！

logstash
是一个日志采集、过滤、分析工具，他能够根据grok正则将一些非结构的文本转换成结构化的文本，让我们可以根据特定的字段进行数据的分析！

kibana
是为elasticsearch提供的一个可视化管理平台、通过对应的api接口来连接elsticsearch，利用该平台我们可以更方便快速的查询日志、
可以将对日志数据转换成更直观的可视化图形！更便于我们来分析数据

[root@elk ~]# vim /etc/security/limits.conf

在配置文件中添加如下参数：

• soft nofile 65535
• hard nofile 65535
  ERROR：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

同步时间：

yum -y install ntpdate
ntpdate 0.cn.pool.ntp.org

ELK
由 Elasticsearch 、logstash、kibana

Elasticsearch的安装和配置

安装
rpm -ivh elasticsearch-7.3.2-x86_64.rpm

配置
vim /etc/elasticsearch/elasticsearch.yml
#集群的名字
cluster.name: my-application
#节点的名字，在集群中是唯一的
node.name: 192.168.189.171
#监听的IP地址
network.host: 0.0.0.0
#监听的端口
http.port: 9200
#发现的集群的其他elasticsearch节点
discovery.seed_hosts: [“192.168.189.171”]
cluster.initial_master_nodes: [“192.168.189.171”]

启动
#启动Elasticsearch 并设置为开机自启
systemctl start elasticsearch
systemctl enable elasticsearch

Kibana的安装和配置

安装
rpm -ivh kibana-7.3.2-x86_64.rpm
配置
vim /etc/kibana/kibana.yml
#监听端口
server.port: 5601
#监听IP
server.host: “192.168.189.171”
#elasticsearch服务器地址
elasticsearch.hosts: [“http://localhost:9200”]
#设置页面语言为中文
i18n.locale: “zh-CN”
启动
systemctl start kibana
systemctl enable kibana

logstash的安装和配置

安装
rpm -ivh jdk-8u131-linux-x64_.rpm
rpm -ivh logstash-7.3.2.rpm
配置
cd /etc/logstash/conf.d/
vim system.conf

input{  \\收集的日志信息
  file {  \\收集的方式是文件形式
    path => "/var/log/messages"   \\日志的绝对路径
    type => "system-log"          \\日志的类型，只是标签的含义，可以自定义名字
    start_position => "beginning"   \\从日志文件的最开始收集日志
  } 

}


output{   \\日志的输出
   elasticsearch {   \\日志输出给elasticsearch
     hosts => "http:192.168.189.171:9200"     \\elasticsearch的IP和端口
     index => "system-log_%{+YYYY.MM.dd}"  \\日志的索引和日期后缀
   }
}

给日志文件增加读的权限
chmod +r /var/log/messages

启动logstash
systemctl start logstash
systemctl enable logstash

---

各个服务的监听端口
elasticsearch:
9200 节点监听端口
9300 集群监听端口
kibana: 5601
logstash: 9600

---

各个服务启动后，浏览器访问kibana，创建索引然后就可以查询日志了！

nginx 加正则
filter {
grok {
match => { “message” => “%{NGINXACCESS}”}
}
}

logstash转发redis
input {
file {
path => “/var/log/messages”
type => “system-log” 自定义名字
start_position => “beginning”
}
}

output {
redis {
host => [“192.168.52.12:6379”]
data_type => “list”
key => “system:redis”
#user => “elastic”
#password => “changeme”
}
}
redis转发logstash
input {
redis {
host => “192.168.52.12” redis地址
port => “6379” 端口
type => “system-log” 和上面自定义要一致
data_type => “list” 数据类型为列表
key => “system:redis” 键值 自定义

}
}

output {
elasticsearch { 搜索引擎
hosts => [“http://192.168.52.11:9200”]
index => “system-log%{+YYYY.MM.dd}”
#user => “elastic”
#password => “changeme”
}
}
更改
vim /etc/logstash/pipelines.yml

• pipeline.id: system
  path.config: “/etc/logstash/conf.d/system.conf” #寻找system.conf
• pipeline.id: nginx
  path.config: “/etc/logstash/conf.d/nginx.conf” #寻找nginx.conf
  find / -name httpd
  讲正则上传至
  /usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/