ELK（4）——环境部署及ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台

最新推荐文章于 2022-09-30 21:51:38 发布
最新推荐文章于 2022-09-30 21:51:38 发布
阅读量649 收藏 2
点赞数
分类专栏： Linux运维进阶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38548994/article/details/102649205
版权
本文档详细介绍了如何搭建ELK(Elasticsearch, Logstash, Kibana)集群，包括环境部署、Elasticsearch节点配置、Logstash数据采集以及Kibana的使用。通过Kibana进行日志可视化分析，展示了ELK在实时日志监控和分析中的应用，特别是对Apache服务的监控。实验过程包括多台服务器的配置、服务的启动和停止、数据的采集和呈现，以及如何通过Kibana创建和保存可视化仪表板。" 111455133,10297025,Ubuntu16.04+Python3.6安装与编译Dlib指南,"['Python开发', 'Dlib', 'Ubuntu系统', '库安装', '软件编译']
摘要由CSDN通过智能技术生成

#6.6版本
###ELK stack:是软件集合elksticsearch、logstash、kibana的集合，都是开源软件
#这是集群cluster，若为单机节点，直接起；

本次实验是：一个master 两个：worker node

msater:一般3台；一般服务器
node:消耗大；
client:内存多；

搭建实验环境

3台虚拟机redhat7.5系统,内存：2G，cpu:2

主机信息 作用
server1(172.25.8.1) master节点
server2(172.25.8.2) node1节点
server3(172.25.8.3) node2节点

(1)用真机创建三个虚拟机

[root@foundation8 images]# qemu-img create -f qcow2 -b rhel7.5-1.qcow2 elk1 
[root@foundation8 images]# qemu-img create -f qcow2 -b rhel7.5-1.qcow2 elk2 
[root@foundation8 images]# qemu-img create -f qcow2 -b rhel7.5-1.qcow2 elk3

（2）用真机连接三台虚拟机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关闭防火墙和selinux

elksticsearch(6.6版)环境部署

软件包的下载:
清华大学开源软件镜像站

[root@server1 ~]# ls
elasticsearch-6.6.1.rpm  elasticsearch-head-master.zip  jdk-8u171-linux-x64.rpm   #这些安装包是我提前下载好的
[root@server1 ~]# rpm -ivh jdk-8u171-linux-x64.rpm  #安装jdk
[root@server1 ~]# rpm -ivh elasticsearch-6.6.1.rpm #安装es
[root@server1 ~]# systemctl daemon-reload   #重新加载服务程序的配置文件
[root@server1 ~]# systemctl enable elasticsearch.service              
[root@server1 systemd]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml   #修改配置文件
 17 cluster.name: my-es  #集群名称
 23 node.name: server1    #节点主机名称
 35 path.data: /var/lib/elasticsearch  #数据路径
 39 path.logs: /var/log/elasticsearch  #日志路径
 45 bootstrap.memory_lock: true  
 57 network.host: 172.25.8.1
 61 http.port: 9200

[root@server1 elasticsearch]# systemctl start elasticsearch.service  #开启es服务
[root@server1 elasticsearch]# systemctl status elasticsearch.service #查看es服务状态

在这里插入图片描述

[root@server1 elasticsearch]# cat /var/log/elasticsearch/my-es.log#查看es的日志  #会有debug报错

在这里插入图片描述

[root@server1 elasticsearch]# vim /etc/security/limits.conf 
 62 elasticsearch soft memlock unlimited
 63 elasticsearch hard memlock unlimited
[root@server1 elasticsearch]# systemctl status elasticsearch.service  #查看服务状态有报错

在这里插入图片描述

[root@server1 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
 39 LimitMEMLOCK=infinity

在这里插入图片描述

[root@server1 elasticsearch]# systemctl daemon-reload 
[root@server1 elasticsearch]# yum install -y bash-* #下载可以tab补齐

在这里插入图片描述

[root@server1 elasticsearch]# vim /etc/security/limits.conf 
 65 elasticsearch - nofile 65535  #打开最大文件数
 66 elasticsearch - nproc 4096 #打开最大进程

在这里插入图片描述
在这里插入图片描述
#记住每次修改过配置文件都要进行重启服务
在这里插入图片描述

[root@server1 elasticsearch]# cat /var/log/elasticsearch/my-es.log#查看es的日志 ,显示服务以生效

在这里插入图片描述
查看端口:9200和9300被打开
在这里插入图片描述
在这里插入图片描述

[root@server1 ~]# unzip elasticsearch-head-master.zip
[root@server1 ~]# cd elasticsearch-head-master/

在这里插入图片描述
[root@server1 ~]# ls
elasticsearch-6.6.1.rpm nodejs-9.11.2-1nodesource.x86_64.rpm
elasticsearch-head-master
elasticsearch-head-master.zi jdk-8u171-linux-x64.rpm
[root@server1 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
在这里插入图片描述

#打开网络在主机上进行地址伪装和路由转换
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@server1 ~]# cd elasticsearch-head-master/  
[root@server1 elasticsearch-head-master]# npm install  #npm进行下载,`注意路径`，有可能会出现报错,一定要注意你的taoba镜像的路径设置

在这里插入图片描述
[root@server1 ~]# tar jxf phantomjs-2.1.1-linux-x86_64

[root@server1 phantomjs-2.1.1-linux-x86_64]# ls
[root@server1 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@server1 bin]# cp phantomjs /usr/local/bin/ #将脚本启动文件存放在 /usr/local/bin/
在这里插入图片描述
[root@server1 elasticsearch-head-master]# yum install -y libfontconfig.so.1
[root@server1 elasticsearch-head-master]# yum install -y fontconfig #注意下载64位的
[root@server1 elasticsearch-head-master]# phantomjs
phantomjs>

在这里插入图片描述
在这里插入图片描述
[root@server1 elasticsearch-head-master]# node -v
v9.11.2
[root@server1 elasticsearch-head-master]# npm -v
5.6.0
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@server1 elasticsearch-head-master]# npm run start &
[root@server1 elasticsearch-head-master]# netstat -antlp | grep 9100

在这里插入图片描述

在这里插入图片描述

#在浏览器上测试，输入：172.25.8.1.9100 es：http://172.25.8.1:9200
在这里插入图片描述
#无显示 是因为存在es跨域的问题

[root@server1 elasticsearch-head-master]# vim  /etc/elasticsearch/elasticsearch.yml
 63 http.cors.enabled: true
 64 http.cors.allow-origin: "*"  #允许所有的

跨域资源共享(CORS) 是一种机制，它使用额外的 HTTP 头来告诉浏览器  让运行在一个 origin (domain) 上的Web应用被准许访问来自不同源服务器上的指定的资源。当一个资源从与该资源本身所在的服务器不同的域、协议或端口请求一个资源时，资源会发起一个跨域 HTTP 请求。

在这里插入图片描述
在这里插入图片描述

[root@server1 ~]# systemctl restart elasticsearch.service 
[root@server1 ~]# cat /var/log/elasticsearch/my-es.log  #查看日志

在这里插入图片描述
#在浏览器上再次测试，会出现server1的服务；
在这里插入图片描述
在这里插入图片描述

#查看文件发现是9100端口
在这里插入图片描述
在这里插入图片描述
#在浏览器上再次测试,再次点击图中my-es的连接
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
#将jdk和es的rpm包发送给server2和server3

在这里插入图片描述

最低0.47元/天 解锁文章
AmourHai
关注
专栏目录
ELK【elasticsearch+logstash+kibana】企业级日志分析系统
shanjun12的博客
04-09 790
ELK【elasticsearch+logstash+kibana】企业级日志分析系统
搭建日志服务器ELK
11-25
ELK这三个开源工具的关系，简单来说就是logstatsh 收集日志，存到elasticserach （存储，产生索引，搜索），再由kibana展现（view）。
ELK(日志分析系统)： Elasticsearch + Logstash + Kibana集群环境部署及应用
weixin_33932129的博客
12-22 92
2019独角兽企业重金招聘Python工程师标准>>> ...
ELK-4-Logstash安装
wj903829182的专栏
04-27 1204
ELK系列文章地址：ELK 一，Windows安装 去官网下载logstash，地址：下载地址 1，下载后解压到相应目录，eg：D:\ELK\logstash-7.0.0 2，在bin目录下建立logstash_default.conf文件，文件内容如下： input { stdin{ } } output { stdout{...
02篇ELK日志系统——升级版集群之kibana和logstash的搭建整合
weixin_30853329的博客
05-30 121
【 　　前言：01篇LK日志系统已经把es集群搭建好了，接下来02篇搭建kibana和logstash，并整合完成整个ELK日志系统的初步搭建。 】 　1、安装kibana 　　　　　3台服务器： 　　　　　　　　192.168.2.119　　（119服务器当做集群的主服务器） 　　　　　　　　192.168.2.115 　　　　　　　　192.168.2.116 　　　　　...
Linux(企业级)——elasticsearch部署
weixin_45699877的博客
08-12 258
简介 安装部署 在所有节点上分别安装elasticsearch https://elasticsearch.cn/download/ 修改主配置文件 https://elasticsearch.cn/download/ vim /etc/elasticsearch/elasticsearch.yml cluster.name: my-es #集群名称 node.name: server4 #主机名需要解析，本机主机名 path.data: /var/lib/elasticsearch #数据目录 pa
ELK日志分析系统（ELasticsearch+Logstash+Kibana）——理论+实例
m0_47452405的博客
10-29 732
文章目录一、ELK日志分析系统简介二、 Elasticsearch介绍三、Logstash介绍四、Kibana介绍五、部署ELK日志分析系统5.1配置elasticsearch环境5.2安装logstash5.3在node2 节点安装kibana5.4对接Apache 一、ELK日志分析系统简介 日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因,经常分析日志可以了解服务
ELK 日志分析平台搭建
userwyh的专栏
10-22 4346
一、ELK介绍本节内容来自 开源实时日志分析ELK平台部署，感谢原作者详细的介绍。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这
ELK详解：ElasticSearch、Logstach、Kibana最新版本详解
qq_39594407的博客
05-30 2046
第一节 ElasticSearch概述 1.1 ElasticSearch8.2.0最新版本下载以及安装 1.2 ElasticSearch8.2.0遇到的问题 第二节 Elasticsearch-head概述 1.1 ElasticSearch-head最新版本下载以及安装 1.2 ElasticSearch-head遇到的问题 第三节 Logstash概述 第四节 Kibana概述 1.1 Kibana-8.2.1最新版本下载以及安装 1.2 Kibana-8.2.1遇到的问题
kibana启动时报错“No Living Connections”解决办法
weixin_71146793的博客
07-27 2775
运行elasticsearch后，启动kibana报错“No Living Connections”解决办法
kibana启动时报错“No Living Connections”
最新发布
qq_29419791的博客
09-30 568
把配置注释打开，然后把localhost换成本机的ip。
ELKStack入门篇（一）之ELK部署和使用
段晓舟的博客
02-06 2547
一、ELKStack简介 1、ELK介绍 中文指南：https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details ELK Stack包含：ElasticSearch、Logstash、Kibana ElasticSearch是一个搜索引擎，用来搜索、分析、存储日志。它是分布式的，也就是说可以横向扩容，可以自动发现，索引自动分片，总之很强大。文档https://www.elastic.co/guide/cn/elasticsearch.
Windows10中，ElasticSearch6.5.4集群搭建以及Logstash Kibana环境 ELK（单台电脑部署）
zhouxinhong的专栏
01-17 2054
下面是官方介绍:ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计...
ELK（elasticsearch+logstash+kabana）安装及简单入门
lck5602的专栏
03-23 6387
ElasticSearch安装 1、下载安装包 https://www.elastic.co/downloads/elasticsearch wget https://www.elastic.co/downloads/elasticsearch 2、解压到文件夹 tar -zxvf elasticsearch-5.2.2.tar.gz -C /bigdata/ 3、修改...
ELK环境搭建之安装-logstash-7.5.1
与时代同行 liwei
04-30 858
ELK环境搭建之安装-logstash-7.5.1 查看linux服务器信息 [root@linux-node2 ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) [root@linux-node2 ~]# uname -r 2.6.32-573.el6.x86_64 1,下载安装包 2，解压文件 [es@linux...
搭建Elasticsearch环境，搭建kibana 环境
热门推荐
IT云清
07-23 2万+
看了网上一堆文章，抄来抄去的，也没有个完整易用的，自己整理了一篇，本文原载于我的gitchat的付费分享，现在分享一下。 告知： 1.Elasticsearch和kibana均基于5.5.3版本； 官方建议：在二者版本选择时，Elasticsearch应该大于等于kibana版本，否则在使用和升级过程中会出问题，截至文章出稿，已经更新到6.3.0版本，本文以5.5.3版本为例，对其他...
ELK日志分析平台搭建指南：Elasticsearch+Logstash+Kibana+Beats
《ELK实时日志分析平台环境搭建手册》是一份详细的文档，介绍了如何在2019年3月至4月期间安装和配置ELK Stack（Elasticsearch、Logstash和Kibana）这一流行的日志管理和分析平台。该平台主要用于实时监控和分析大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值