ELK日志群集服务部署

最新推荐文章于 2024-03-31 14:00:35 发布
最新推荐文章于 2024-03-31 14:00:35 发布
阅读量471 收藏
点赞数 3
分类专栏： ELK日志服务实验 配置日志服务 web服务器 文章标签： centos linux docker elk elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mystic_JJ/article/details/112297245
版权

实验名称：ELK日志群集服务部署
实验目的：进行实验操作：完成Elk日志服务实验
实验环境：
准备两台CentOS 7
1、主机名为：elk-n1.mystic.org
IP:192.168.22.5
2、主机名为：elk-n2.mystic.org
IP:192.168.22.6
实验步骤：
一、第一台部署elasticsearch集群
1、设置虚拟机名字
[root@localhost ~]# vim /etc/hostname
在这里插入图片描述
2、添加映射条件，第一个是第一台虚拟机的映射
[root@localhost ~]# vim /etc/hosts
在这里插入图片描述
3、关闭SEKinux：
[root@bogon ~]# vim /etc/selinux/config //更改SELINUX=permissive
在这里插入图片描述
4、修改系统限制
[root@localhost ~]# vim /etc/security/limits.conf
在配置文件中最后的End下加上以下内容

  • soft nofile 65536
  • hard nofile 131072
  • soft nproc 4096
  • hard nproc 8192
  • soft memlock unlimited
  • hard memlock unlimited
    以下为解释：
    在这里插入图片描述

在这里插入图片描述
5、重新启动虚拟机
[root@localhost ~]# reboot
6、安装java环境（java环境必须是1.8版本以上的）
将jdk1.8版本的包复制粘贴到虚拟机的./目录下
[root@elk-n1~]#cp’//tmp/VMwareDnD/3f4050ff/jdk-8u161-linux-x64.tar.gz’ ./
解包：
[root@elk-n1 ~]# tar zxvf jdk-8u161-linux-x64.tar.gz ==
在这里插入图片描述
7、将jdk1.8.0_161/ 移动到/usr/local/jdk1.8.0下：
[root@elk-n1 ~]# mv jdk1.8.0_161/ /usr/local/jdk1.8.0
编辑主配置文件：
8、[root@elk-n1 ~]# vim /etc/profile==
//在第53行的export下添加以下三行内容：
export JAVA_HOME=/usr/local/jdk1.8.0
exportCLASSPATH=./: J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar: JAVAH​OME/lib/dt.jar:JAVA_HOME/lib/tools.jar
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH
在这里插入图片描述
9、启用主配置文件：
[root@elk-n1 ~]# source /etc/profile
[root@elk-n1 ~]# java -version
在这里插入图片描述
10、安装elasticsearch
将jdk1.8版本的包复制粘贴到虚拟机的./目录下
[root@elk-n1~]#cp’//tmp/VMwareDnD/aec9e207/elasticsearch-7.6.0-x86_64.rpm’ ./
[root@elk-n1 ~]# rpm -ivh elasticsearch-7.6.0-x86_64.rpm
在这里插入图片描述
11、创建elasticsearch data的存放目录，并修改该目录的属主属组
12、[root@elk-n1 ~]# mkdir -p /var/es-data
13、[root@elk-n1 ~]# chown -R elasticsearch:elasticsearch /var/es-data/
14、修改elasticsearch的日志属主属组
[root@elk-n1~]#chown-Relasticsearch:elasticsearch/var/log/elasticsearch/
15、修改elasticsearch的配置文件
[root@elk-n1 ~]# vim /etc/elasticsearch/elasticsearch.yml
在这里插入图片描述
解释：
在这里插入图片描述
16、关闭防火墙
[root@elk-n1 ~]# systemctl stop firewalld
17、修改elasticsearch的Service配置文件
[root@elk-n1 ~]# vim /usr/lib/systemd/system/elasticsearch.service
//在LimitFSIZE下添加LimitMEMLOCK=infinity
在这里插入图片描述
18、启动elasticsearch
[root@elk-n1 ~]# systemctl daemon-reload
[root@elk-n1 ~]# systemctl start elasticsearch.service
19、在火狐访问http：//127.0.0.1:9200(查询到uuid号)
在这里插入图片描述
二、第二台部署elasticsearch集群。
1、设置虚拟机名字
[root@localhost ~]# vim /etc/hostname
在这里插入图片描述
2、添加映射条件，第一个是第二台虚拟机的映射
[root@localhost ~]# vim /etc/hosts
在这里插入图片描述
3、关闭SEKinux：
[root@bogon ~]# vim /etc/selinux/config //更改SELINUX=permissive
进入配置文件更改以下内容
在这里插入图片描述
4、修改系统限制
[root@localhost ~]# vim /etc/security/limits.conf
在配置文件中最后的End下加上以下内容

  • soft nofile 65536
  • hard nofile 131072
  • soft nproc 4096
  • hard nproc 8192
  • soft memlock unlimited
  • hard memlock unlimited

解释：
在这里插入图片描述
在这里插入图片描述
5、重新启动虚拟机
[root@localhost ~]# reboot
6、安装java环境（java环境必须是1.8版本以上的）
将jdk1.8版本的包复制粘贴到虚拟机的./目录下
[root@elk-n2~]#cp’//tmp/VMwareDnD/3f4050ff/jdk-8u161-linux-x64.tar.gz’ ./
7、解包：
[root@elk-n2 ~]# tar zxvf jdk-8u161-linux-x64.tar.gz ==
在这里插入图片描述
8、将jdk1.8.0_161/ 移动到/usr/local/jdk1.8.0下：
[root@elk-n2 ~]# mv jdk1.8.0_161/ /usr/local/jdk1.8.0
9、编辑主配置文件：
[root@elk-n2 ~]# vim /etc/profile
//在第53行的export下添加以下三行内容：
export JAVA_HOME=/usr/local/jdk1.8.0
exportCLASSPATH=./: J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar: JAVAH​OME/lib/dt.jar:JAVA_HOME/lib/tools.jar
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH
在这里插入图片描述
10、启用主配置文件：
[root@elk-n2 ~]# source /etc/profile
[root@elk-n2 ~]# java -version
在这里插入图片描述
11、安装elasticsearch
将jdk1.8版本的包复制粘贴到虚拟机的./目录下
[root@elk-n2~]#cp’//tmp/VMwareDnD/aec9e207/elasticsearch-7.6.0-x86_64.rpm’ ./
[root@elk-n2 ~]# rpm -ivh elasticsearch-7.6.0-x86_64.rpm
在这里插入图片描述
12、创建elasticsearch data的存放目录，并修改该目录的属主属组
13、[root@elk-n2 ~]# mkdir -p /var/es-data==
14、[root@elk-n2 ~]# chown -R elasticsearch:elasticsearch /var/es-data/
修改elasticsearch的日志属主属组
[root@elk-n2~]#chown-Relasticsearch:elasticsearch/var/log/elasticsearch/
15、修改elasticsearch的配置文件
[root@elk-n2 ~]# vim /etc/elasticsearch/elasticsearch.yml ==
在这里插入图片描述
16、关闭防火墙
[root@elk-n2 ~]# systemctl stop firewalld
17、修改elasticsearch的Service配置文件
//在LimitFSIZE下添加LimitMEMLOCK=infinity
[root@elk-n2 ~]# vim /usr/lib/systemd/system/elasticsearch.service
//在LimitFSIZE下添加LimitMEMLOCK=infinity
在这里插入图片描述
18、启动elasticsearch
[root@elk-n2 ~]# systemctl daemon-reload
[root@elk-n2 ~]# systemctl start elasticsearch.service
19、在火狐访问http：//127.0.0.1:9200（查询到uuid：与第一台uuid相同）
在这里插入图片描述
三、第一台配置
1、安装Head插件，在elk-n1主机上
安装EPEL源
[root@elk-n1 ~]# yum -y install epel-release
在这里插入图片描述
2、将phantomjs的包复制到虚拟机的./目录下
[root@elk-n1~]#cp’//tmp/VMwareDnD/7820d6e8/phantomjs-2.1.1-linux-x86_64.tar.bz2’ ./
先安装phantomjs
[root@elk-n1 ~]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
在这里插入图片描述
3、将phantomjs移动到/usr/local/phantomjs下
[root@elk-n1~]#mv phantomjs-2.1.1-linux-x86_64 /usr/local/phantomjs
4、建立软连接
[root@elk-n1 ~]# ln -s /usr/local/phantomjs/bin/phantomjs /usr/bin/
5、再测试以下
[root@elk-n1 ~]# phantomjs --version
2.1.1
6、安装Head插件
head插件本质上是一个nodejs 工程，因此需要安装node，使用npm来安装依赖的包。
将node（13.8）安装包复制粘贴到/tmp目录下
[root@elk-n1 ~]# cp ‘/tmp/VMwareDnD/7a23d045/node-v13.8.0-linux-x64.tar.gz’ ./
[root@elk-n1 ~]# tar zxvf node-v13.8.0-linux-x64.tar.gz
7、[root@elk-n1 ~]# mv node-v13.8.0-linux-x64/ /usr/local/node13.8==
8、[root@elk-n1 ~]# vim /etc/profile
//在配置文件中export下添加以下两行
export NODE_HOME=/usr/local/node13.8
export PATH= P A T H : PATH: PATH:NODE_HOME/bin
在这里插入图片描述
9、启用主配置文件：
[root@elk-n1 ~]# source /etc/profile
10、安装git，下载Head插件
在这里插入图片描述
[root@elk-n1 ~]# git clone https://github.com/mobz/elasticsearch-head.git
在这里插入图片描述
11、将elasticsearch-head移动到/opt目录下
[root@elk-n1 ~]# mv elasticsearch-head/ /opt/
12、安装grunt
[root@elk-n1 ~]# cd /opt/elasticsearch-head/
[root@elk-n1 elasticsearch-head]# npm install -g grunt --registry=https://registry.npm.taobao.org
在这里插入图片描述
13、[root@elk-n1 elasticsearch-head]# npm config set registry https://registry.npm.taobao.org //（不会有安装过程）
[root@elk-n1 elasticsearch-head]# npm install == //安装插件
在这里插入图片描述
一定要看到这个进度条，如果没有可能是因为网卡，看到进度条在往下进行
在这里插入图片描述
14、配置elasticsearch-head下Gruntfile.js文件
[root@elk-n1 elasticsearch-head]# vim Gruntfile.js
搜索connect：在94行
添加主机名，本机
修改_site/app.js文件
在这里插入图片描述
15、[root@elk-n1 elasticsearch-head]# vim _site/app.js
第4388行：IP地址
this.base_uri = this.config.base_uri || this.prefs.get(“app-base_uri”) || “http://192.168.22.5:9200”; （将原内容改为IP地址：9200）
在这里插入图片描述
16、启动head插件服务（后台运行）
[root@elk-n1 elasticsearch-head]# ./node_modules/grunt/bin/grunt server &
出来IP地址即可终止
在这里插入图片描述
或者用[root@elk-n1 elasticsearch-head]# npm run start &==
17、在火狐查看一下
http：//192.168.68.99:9100
要显示出elk-n1，elk-n2两个
在这里插入图片描述
四、Logstash的安装配置。
1、安装配置logstash（你要采集哪里的日志，就装在哪里）
将logstash的包复制到虚拟机的./目录下
[root@elk-n1 ~]# cp ‘//tmp/VMwareDnD/870fdced/logstash-7.6.0.rpm’ ./
[root@elk-n1 ~]# rpm -ivh logstash-7.6.0.rpm
在这里插入图片描述
2、建立软连接
[root@elk-n1 ~]# ln -s /etc/logstash/ /usr/share/logstash/config
[root@elk-n1 ~]# vim /etc/logstash/logstash.yml
在第64行，搜索path.config后加上/etc/logstash/conf.d/*.conf
在这里插入图片描述
3、logstash的测试
[root@elk-n1 ~]# /usr/share/logstash/bin/logstash -t ‘input{stdin{}}output{stdout{codec=>rubydebug}}’
//要注意查看，确保成功
也可以用-f
在这里插入图片描述
4、日志采集信息配置：
给与权限
[root@elk-n1 ~]# chmod a+r /var/log/messages ==
[root@elk-n1 ~]# vim /etc/logstash/conf.d/system.conf
在编辑器写入以下内容
input {
file {
path => “/var/log/messages”
//收集Linux系统日志
type => “system”
start_position => “beginning”
}
}
output {
elasticsearch {
hosts => [“192.168.22.5:9200”]
//输出到elasticsearch
index => “system-%{+YYYY.MM.dd}”
}
}
如图：
在这里插入图片描述
5、测试或启动Logstash，并在ESL主机上验证，别忘记防火墙设置
[root@elk-n2 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache_access.conf
//需要等一会
在这里插入图片描述
6、[root@elk-n2 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache_error.conf==
如果一段时间后还没反应按Ctrl+C
在这里插入图片描述
7、启动Logstash
[root@elk-n1 ~]# systemctl enable logstash
[root@elk-n1 ~]# systemctl start logstash

8、访问
在第2台访问输入第一台IP
192.168.22.5：9100
在这里插入图片描述
访问Kibana页面
192.168.22.5：5601
在这里插入图片描述
【至此，ELK日志群集服务部署实验完成】

Mystic_JJ
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
windows10 搭建最新的 hadoop 3.1.3 和 hbase 2.2.2 测试环境 配置文件
01-19
https://blog.csdn.net/liutietuo/article/details/103983632 这篇文章带的配置文件
hbase windows 单机安装_Hadoop3.2.1+Zookeeper3.6.2+HBase2.2.6完全分布式集群安装教程
weixin_39623620的博客
11-21 292
本次安装hbase的版本为2.2.6 安装文件链接：https://pan.baidu.com/s/1TRK_ChCZgLhWBaj5pPupeg 提取码: 7s9j安装hbase之前需要基于：install-hadoop-cluster.md 此文档先安装好hadoop,以及install-zookeeper-cluster.md 此文档先安装好zookeeper一、环境Linux：Centos...
windows 10 HBase保姆级安装教程
最新发布
2401_83411985的博客
03-31 947
机会是留给有准备的人，大家在求职之前应该要明确自己的态度，熟悉求职流程，做好充分的准备，把一些可预见的事情做好。对于应届毕业生来说，校招更适合你们，因为绝大部分都不会有工作经验，企业也不会有工作经验的需求。同时，你也不需要伪造高大上的实战经验，以此让自己的简历能够脱颖而出，反倒会让面试官有所怀疑。你在大学时期应该明确自己的发展方向，如果你在大一就确定你以后想成为Java工程师，那就不要花太多的时间去学习其他的技术语言，高数之类的，不如好好想着如何夯实Java基础。请转发本文支持一下。
【终端配置代理（Windows和Kali）】
qq_46029678的博客
11-16 4008
1.打开终端，输入命令：export proxy_http=http://192.168.110.XX:10801。4.徽标键+R打开终端，ipconfig查看本机IP，记录下来等会配置会用到。根据具体情况配置http或者socks，此时的端口是局域网端口。根据具体情况配置http或者socks，此时的端口是本地端口。2.同样属于临时性设置，重新打开一个新终端配置会失效。2.这属于临时性设置，重新打开一个新终端配置会失效。在末尾添加你的设置，注意协议，IP和端口。添加dynamic_chain。
Windows10 单机 Hadoop3.1.3 Hbase 2.3.5
sleetdream的博客
07-09 1356
文章目录1 系统版本2 配置环境变量3 验证安装3.1 验证JAVA3.2 验证Hadoop4 配置Hadoop4.1 hadoop-env.cmd4.2 core-site.xml4.3 hdfs-site.xml4.4 yarn-site.xml4.5 mapred-site.xml4.6 替换winutils4.7 adoop-yarn-server-timelineservice-3.1.3.jar5 启动Hadoop5.1 初始化namenode5.2 启动HDFS5.3 访问Hadoop上的浏览
ELK日志系统浅析与部署
02-24
在复杂的企业应用服务群中,记录日志方式多种多样，并且不易归档以及提供日志监控的机制。...2、ELK经典应用如下ELK经典架构如图1.Logstash部署至服务主机，对各个服务的日志进行采集、过滤、推送。2.E
elk日志系统部署及实践
09-29
elk 日志系统部署及实践
ELK日志分析平台一键部署脚本
08-01
ELK日志分析平台一键部署脚本 架构：logstash+elasticsearch+kibana 功能：shell脚本一键部署 亲测有用！！！
ELK日志管理平台部署手册（Windows）.docx
08-12
ELK日志管理平台部署手册，针对windows环境部署和安装
zookeeper+hadoop+hbase虚拟机环境搭建
qq_38759137的博客
03-11 429
1.准备工作 经过几次测试以及探索，最终采用了各版本如下： apache-zookeeper-3.5.7-bin.tar.gz hadoop-2.8.5.tar.gz hbase-2.2.3-bin.tar.gz jdk-8u201-linux-x64.tar.gz 以上版本直接从Apache的官网可以下载，至于为什么选择这样的版本。 1.zookeeper版本不依赖hbase和ha...
Java在Windows下使用Hbase操作Hadoop示例
lixiang987654321的专栏
06-21 2102
（1）解决jar包依赖问题，可以使用两种方式1、直接创建maven工程，编写pom文件，添加依赖的jar包声明2、直接下载对应的hbase的linux压缩包，解压后拷贝文件夹lib下的所有jar包注意：在运行过程中会报错：java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing，因为缺少了hadoop的jar包），可以从解压ha...
【HBase】【一】windows搭建源码开发环境
Lanna_w的博客
12-09 1537
windows搭建源码开发环境
window下hadoop、hbase的安装和eclipse开发环境配置
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
03-02 4801
全栈工程师开发手册 （作者：栾鹏） python数据挖掘系列教程 hadoop下载 这里下载的hadoop-2.7.5.tar.gz http://mirror.bit.edu.cn/apache/hadoop/common/ 或者下载hadoop-2.7.3.tar.gz http://archive.apache.org/dist/hadoop/core/had...
在已安装 hadoop 环境下部署 hbase
LawrenceUyi31的博客
11-15 713
在已安装 hadoop 环境下部署 hbase。本环节需要使用 root 用户完成相关配置，具体部署要求...
windows10 搭建最新的 hadoop 3.1.3 和 hbase 2.2.2 测试环境
liutietuo的专栏
03-26 4143
一、环境准备 1、JDK 2、Hadoop安装包 官网 :https://archive.apache.org/dist/hadoop/common/ https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.3/ https://www-eu.apache.org/dist/hadoop/common/h...
Hadoop/Hbase在windows下的安装笔记
sxzhustar的专栏
11-23 4984
刚开始学习这块知识，在windows下安装Hadoop和Hbase，看到的方法都不尽相同，采用cygwin安装不成功，直接安装成功了，就此做个记录。 Hadoop的安装，参考了以下两位的博客： http://blog.csdn.net/antgan/article/details/52067441 http://www.cnblogs.com/wuxun1997/p/6847950.ht
windows 10(64位) 本地模式安装Hadoop和Hbase
cool_caiji的博客
11-21 1041
参考 全部安装参考以下文档，可以直接看以下文档安装 windows环境搭建hadoop伪集群. Windows 64位系统上搭建Hadoop伪分布式环境 Windows10安装搭建hadoop伪分布式-总结 安装准备 环境：Windows 10-X64 jdk1.8.0_102 安装方式：本地安装 - Hadoop版本：2.7.1 Hbase版本：1.2...
Win10系统安装和配置Hadoop2.5.2+Hbase1.2.0
小工具不小的博客
04-19 2401
由于工作需要，最近开始学习和使用hadoop+hbase来管理数据。在各大网站和论坛查找了相应的方式以后，最终在系统中搭建好了环境，以下是具体的安装配置方式：一.安装Hadoop2.5.21. 安装jdk，我用的是jdk1.7.0_80，可以从官网上下载(安装所涉及到的文件可以自行在百度搜索下载，文章末尾我也会附上下载链接，后面不在说明)，步骤：下载好jdk,点击安装，安装到想要安装的文件夹后，开...
Windows环境Docker环境搭建Hadoop3.2+zookeeper3.5.5+HBase2.2高可用集群（一）
ccren的专栏
06-25 995
参考1：https://blog.csdn.net/ccren/article/details/93485200 参考2：https://blog.csdn.net/qq_40235064/article/details/89074917 参考3：https://blog.csdn.net/qq_19524879/article/details/83659747 四个节点 docker r...
帮我写一个elk日志系统部署脚本
03-14
部署ELK日志系统需要以下步骤： 1. 安装Java环境 2. 安装Elasticsearch 3. 安装Logstash 4. 安装Kibana 5. 配置Logstash和Kibana连接Elasticsearch 具体的部署脚本可以根据不同的操作系统和版本进行编写，可以参考...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值