目录
一、Elasticsearch 集群部署(在Node1上操作)
二、Elasticsearch 集群部署(在Node2上操作)
三、安装 Elasticsearch-head 插件(node1和node2节点操作一样)
3、安装 Elasticsearch-head 数据可视化工具
8、通过 Elasticsearch-head查看Elasticsearch 信息
4.3 使用 rubydebug 输出详细格式显示,codec 为一种编解码器
4.4 使用 Logstash 将信息写入 Elasticsearch 中
5、将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
引言
随着业务量的增长,每天业务服务器将会产生上亿条的日志,单个日志文件达几个GB,这时我们发现用Linux自带工具,cat grep awk 分析越来越力不从心了,而且除了服务器日志,还有程序报错日志,分布在不同的服务器,查阅繁琐。
一、Elasticsearch 集群部署(在Node1上操作)
Node1节点:192.168.10.13
Node2节点:192.168.10.16
Apache节点:192.168.10.19
Elasticsearch包下载地址
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-5-0
1、准备环境
更改主机名,配置域名解析,查看java环境
hostnamectl set-hostname node1
bash
systemctl stop firewalld
setenforce 0
vim /etc/hosts
java –version
2、部署安装Elasticsearch软件
rpm -ivh elasticsearch-5.5.0.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
3、配置Elasticsearch主配置文件
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: zhang
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
--33--取消注释,指定数据存放路径
path.data: /data/elk_data
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释,改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释,集群发现通过单播实现,指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
4、创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch
netstat -antp | grep 9200
systemctl enable --now elasticsearch.service
netstat -antp | grep 9200
5、查看node1节点信息
二、Elasticsearch 集群部署(在Node2上操作)
1、前面步骤与node1节点一致
2、在node1节点上把配置文件上传到node2节点
3、修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
4、创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl daemon-reload
systemctl enable --now elasticsearch.service
systemctl start elasticsearch
netstat -antp | grep 9200
5、查看node2节点信息
由于es服务启动之后,访问界面比较丑陋,为了更好的查看索引库当中的信息,我们可以通过安装elasticsearch-head这个插件来实现,这个插件可以更方便快捷的看到es的管理界面。
三、安装 Elasticsearch-head 插件(node1和node2节点操作一样)
Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,需要使用npm工具(NodeJS的包管理工具)安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node:是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs:是一个基于 webkit 的JavaScriptAPI&#