ELK日志分析系统（二）之ELK搭建部署

目录

引言

一、Elasticsearch 集群部署（在Node1上操作）

1、准备环境

2、部署安装Elasticsearch软件

3、配置Elasticsearch主配置文件

4、创建数据存放路径并授权

5、查看node1节点信息

二、Elasticsearch 集群部署（在Node2上操作）

1、前面步骤与node1节点一致

2、在node1节点上把配置文件上传到node2节点

3、修改配置文件

4、创建数据存放路径并授权

5、查看node2节点信息

三、安装 Elasticsearch-head 插件（node1和node2节点操作一样）

1、编译安装 node

2、安装 phantomjs

3、安装 Elasticsearch-head 数据可视化工具

4、修改 Elasticsearch 主配置文件

5、修改Gruntfile.js配置文件

6、修改app.js配置文件

7、启动 elasticsearch-head 服务

8、通过 Elasticsearch-head查看Elasticsearch 信息

9、插入索引，进行测试

四、Logstash 部署(192.168.10.19)

1、安装httpd服务

2、安装java环境

3、安装logstash

4、测试 Logstash

4.1 Logstash 命令常用选项

4.2 定义输入输出流

4.3 使用 rubydebug 输出详细格式显示，codec 为一种编解码器

4.4 使用 Logstash 将信息写入 Elasticsearch 中

5、定义logstash配置文件

6、浏览器验证，查看索引信息

五、Kibana部署（Node1节点）

1、安装 Kibana

2、设置kibana的主配置文件

3、启动kibana服务

4、验证Kibana

5、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

总结

---

引言

随着业务量的增长，每天业务服务器将会产生上亿条的日志，单个日志文件达几个GB，这时我们发现用Linux自带工具，cat grep awk 分析越来越力不从心了，而且除了服务器日志，还有程序报错日志，分布在不同的服务器，查阅繁琐。

一、Elasticsearch 集群部署（在Node1上操作）

Node1节点：192.168.10.13
Node2节点：192.168.10.16
Apache节点：192.168.10.19

Elasticsearch包下载地址
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-5-0

1、准备环境

更改主机名，配置域名解析，查看java环境

hostnamectl set-hostname node1
bash
systemctl stop firewalld
setenforce 0
vim /etc/hosts
java –version

2、部署安装Elasticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak

3、配置Elasticsearch主配置文件

vim /etc/elasticsearch/elasticsearch.yml

--17--取消注释，指定集群名字
cluster.name: zhang
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

4、创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch
netstat -antp | grep 9200
systemctl enable --now elasticsearch.service
netstat -antp | grep 9200

5、查看node1节点信息

二、Elasticsearch 集群部署（在Node2上操作）

1、前面步骤与node1节点一致

 

2、在node1节点上把配置文件上传到node2节点

3、修改配置文件

vim /etc/elasticsearch/elasticsearch.yml
grep -v "^#" /etc/elasticsearch/elasticsearch.yml

4、创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl daemon-reload
systemctl enable --now elasticsearch.service
systemctl start elasticsearch
netstat -antp | grep 9200

5、查看node2节点信息

由于es服务启动之后，访问界面比较丑陋，为了更好的查看索引库当中的信息，我们可以通过安装elasticsearch-head这个插件来实现，这个插件可以更方便快捷的看到es的管理界面。

三、安装 Elasticsearch-head 插件（node1和node2节点操作一样）

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。

安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。

node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI&#