ELK日志分析（二）之ELK搭建部署

目录

一，环境部署

1.2 关闭防火墙，修改主机名,配置域名解析，查看java环境（node1）

  1,3 部署安装Elsaticsearch软件

 1.4 配置Elasticsearch主配置文件

 1.5 创建数据存放路径并授权

 1.6 查看node1节点信息

 二，Elasticsearch 集群部署（在Node2上操作）,

2,1环境部署，与node1一致

 2,2 在node1节点上把配置文件上传到node2节点

 2.3 修改配置文件

 2.4 创建数据存放路径并授权

 2.5 查看node2节点信息

三，安装Elasticsearch-head 插件（node1和node2节点操作一样）

3,1 编译安装node

 3.2 安装phantomjs

 3,3 安装 Elasticsearch-head 数据可视化工具

 3,4 修改Elasticsearch 主配置文件

 3.5 启动elasticsearch-head服务

 3.6 ，通过Elasticsearch-head查看Elasticsearch信息

 3.7 插入索引,进行测试

 四，Logstash部署（192.168.135.90）

4.1 安装httpd服务

 4.2 安装java环境

4.3 安装logstash 

4,4 测试Logstash 

4.4.1定义输入输出流

 4,5 使用Rubydebug输出详细格式显示，codec为一种编解码器

 4.6 使用Logstash 将信息写入 Elasticsearch 中

 4.7 ，定义logstash配置文件

 4.8，浏览器验证查看索引信息

 五，kibana部署（node1节点）

5.1，安装Kibana

 5.2，设置Kibana的主要配置文件

 5.3，启动kibana服务

 6，验证Kibana

 7，将Apache服务器的日志，（访问的，错误的）添加到Elasticsearch 并通过 Kibana 显示

---

一，环境部署

了解架构部署

主机名	ip地址	主要软件	系统
node1	192.168.135.112	ElasticSearh、Kibana	centos7.5
node2	192.168.135.113	ElasticSearh	centos7.5
apache	192.168.135.90	Logstash、Apache	centos7.5

 

 日志分析系统原理

首先有apache产生大量的日志在本机中，那么logstash就会input获取日志，然后进行filter plugin（过滤日志和格式处理），最后将处理好的日志outpu发送日志到ES的cluster集群中。

ES将收到的日志进行索引和存储

最后可以使用Kibana进行查看分析日志。

1.2 关闭防火墙，修改主机名,配置域名解析，查看java环境（node1）

systemctl stop firewalld
systemctl disable firewwalld
setenforce 0
hostnamectl set-hostname node1194
java -version
vim /etc/hosts
cat /etc/hosts

  1,3 部署安装Elsaticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak

 1.4 配置Elasticsearch主配置文件

vim /etc/elasticsearch/elasticsearch.yml

--17--取消注释，指定集群名字
cluster.name: kya
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

 

 1.5 创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch
netstat -antp | grep 9200
systemctl enable --now elasticsearch.service
netstat -antp | grep 9200

 

 1.6 查看node1节点信息

 

 

 二，Elasticsearch 集群部署（在Node2上操作）,

2,1环境部署，与node1一致

systemctl stop firewalld
systemctl disable firewwalld
setenforce 0
hostnamectl set-hostname node1194
java -version
vim /etc/hosts
cat /etc/hosts

 

 2,2 在node1节点上把配置文件上传到node2节点

scp elasticsearch.yml root@192.168.135.195:/etc/elasticsearch/

 2.3 修改配置文件

vim /etc/elasticsearch/elasticsearch.yml
grep -v "^#" /etc/elasticsearch/elasticsearch.yml

 ​​​​​​​

 

 2.4 创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl daemon-reload
systemctl enable --now elasticsea