（一）单集群部署ELK

最新推荐文章于 2024-06-04 11:33:05 发布
最新推荐文章于 2024-06-04 11:33:05 发布
阅读量323 收藏
点赞数
分类专栏： ELK 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Spider_xiaoma/article/details/109931199
版权

官网下载地址：https://www.elastic.co/downloads
官网文档地址：https://www.elastic.co/guide/en/logstash/current/index.html
中文文档地址：http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html

1. ELK的组成部分

ELK的组成部分由：elasticsearch、logstash、kibana、filebeat组成
elasticsearch：开源的分布式搜素引擎，提供搜索、分析、存储数据三大功能。它的特点：分布式、零配置、自动发现、索引自动分片等。
logstash：主要用来日志的搜集和分析、过滤日志工具，支持大量的数据获取方式。
kibana：提供日志分析的web界面，可以分析、搜索日志。
filebeat：隶属于beats。

2. 单集群的架构部署

在这里插入图片描述
这是最简单的一种ELK架构方式。优点是搭建简单，易于上手。缺点是Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患。
此架构由Logstash分布于各个节点上搜集相关日志、数据，并经过分析、过滤后发送给远端服务器上的Elasticsearch进行存储。Elasticsearch将数据以分片的形式压缩存储并提供多种API供用户查询，操作。用户亦可以更直观的通过配置Kibana Web方便的对日志查询，并根据数据生成报表。

2.1 ELK部署
服务服务器ip服务启动端口
elasticsearch192.168.159.1309200、9300
logstash192.168.159.1319600
kibana192.168.159.1325601
elasticsearch安装

下载地址：https://www.elastic.co/downloads 但是这种方式下载会非常缓慢
可以使用这个网址：https://mirrors.huaweicloud.com/ 里面搜索elasticsearch的rpm包

# 安装
[root@node2 ~]# rpm -ivh elasticsearch-6.8.1.rpm
# 查看rpm安装包的内容
[root@node2 ~]# rpm -ql elasticsearch
主要的文件内容
/etc/elasticsearch  		#配置文件目录
/usr/share/elasticsearch    #主程序目录
/var/lib/elasticsearch      #数据目录
/var/log/elasticsearch      #日志存放目录
/var/run/elasticsearch      #进程文件存放目录
/usr/lib/systemd/system/elasticsearch.service #系统启动脚本

#创建elasticsearch用户和组
groupadd elasticsearch
useradd elasticsearch -s /sbin/nologin
#目录权限更改
chown -R elasticsearch:elasticsearch /var/log/elasticsearch /var/lib/elasticsearch

#安装JDK,elasticsearch是基于java编译的所以需要jdk的支持
下载JDK安装包
tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/lcoal
vim /etc/profile #增加如下配置,配置环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_231
export JRE_HOME=/usr/local/jdk1.8.0_231/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin:$PATH
source /etc/profile #生效
ln -s /usr/local/jdk1.8.0_231/bin/java /usr/sbin
测试java
[root@node2 ~]# java -version
java version "1.8.0_231"
Java(TM) SE Runtime Environment (build 1.8.0_231-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode)

#elasticsearch主配置文件
[root@node2 ~]# grep '^[a-Z]' /etc/elasticsearch/elasticsearch.yml
cluster.name: ELK-Cluster 			#集群名称
node.name: elk-node1				#节点名称
path.data: /var/lib/elasticsearch   #data目录
path.logs: /var/log/elasticsearch   #logs目录
bootstrap.memory_lock: true			#服务启动的时候锁定足够的内存，防止数据写入swap
network.host: 0.0.0.0				#监听地址
http.port: 9200						#端口
discovery.zen.ping.unicast.hosts: ["192.168.159.130","192.168.159.131"]		#自动发现主机
#修改内存限制
[root@node2 ~]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNOFILE=65535 #指定打开文件最大数目
LimitNPROC=4096 #指定进程的最大数目
LimitMEMLOCK=infinity
#LimitAS=infinity #指定虚拟内存的最大大小
#LimitFSIZE=infinity #指定最大文件大小,infinity(无穷大)
[root@node2 ~]# vim /etc/elasticsearch/jvm.options
-Xms1g #最小内存大小,如何指定内存大小呢。一般设置为系统内存的一半,Xms=Xmx
-Xmx1g #最大内存大小

#修改系统文件配置
vim /etc/security/limits.conf
*                soft    nproc          10000
*                hard    nproc          10000
*                soft    nofile         65536
*                hard    nofile         65536
*                soft    memlock        32000
*                hard    memlock        32000


#elasticsearch服务启动
systemctl start elasticsearch.service
systemctl enbale elasticsearch.service
启动端口:9200访问端口、9300内部通信端口
[root@node2 ~]# netstat -tnlp | grep 5201
tcp6       0      0 :::9200                 :::*                    LISTEN      5201/java           
tcp6       0      0 :::9300                 :::*                    LISTEN      5201/java 
查看启动日志
[root@node2 ~]# tail -f /var/log/elasticsearch/ELK-Cluster.log

通过访问web地址http://192.168.159.130:9200/可以看到界面即表示成功
logstash安装
# 安装JDK
tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/lcoal
vim /etc/profile #增加如下配置,配置环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_231
export JRE_HOME=/usr/local/jdk1.8.0_231/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin:$PATH
source /etc/profile #生效
ln -s /usr/local/jdk1.8.0_231/bin/java /usr/sbin
#安装logstash
[root@node03 ~]# rpm -ivh logstash-6.8.1.rpm
[root@node03 ~]# rpm -ql logstash
主要的文件内容
/var/lib/logstash 		#数据目录
/var/log/logstash		#日志目录
/etc/logstash/			#配置文件目录
/usr/share/logstash/	#主程序目录
/usr/lib/systemd/system/logstash.service #系统启动脚本
#启动脚本内容
[Unit]
Description=logstash
[Service]
Type=simple
User=logstash
Group=logstash
# Load env vars from /etc/default/ and /etc/sysconfig/ if they exist.
# Prefixing the path with '-' makes it try to load, but if the file doesn't
# exist, it continues onward. 
EnvironmentFile=-/etc/default/logstash
EnvironmentFile=-/etc/sysconfig/logstash
ExecStart=/usr/share/logstash/bin/logstash "--path.settings" "/etc/logstash/" "--path.config" "/etc/logstash/conf.d"
Restart=always
WorkingDirectory=/
Nice=19
LimitNOFILE=16384
[Install]
WantedBy=multi-user.target
#添加logstash用户及授权目录
groupadd logstash
useradd logstash -s /sbin/nologin
chown -R logstash:logstash /usr/share/logstash/data/ #不然启动时候会报错
#配置文件
[root@node03 inputs]# grep '^[a-Z]' /etc/logstash/logstash.yml
path.data: /var/lib/logstash				#数据存放目录
path.config: /etc/logstash/conf.d/*.conf	#收集日志的配置文件
path.logs: /var/log/logstash				#日志目录
#创建conf.d目录，用于存放匹配日志
mkdir -pv /etc/logstash/conf.d
#logstash服务启动
systemctl start logstash.service
systemctl enbale logstash.service
指定配置文件启动,这样启动会中断
/usr/share/logstash/bin/logstash -f /etc/logstash/logstash-sample.conf
后台启动
nohup /usr/share/logstash/bin/logstash -f /etc/logstash/logstash-sample.conf >> /var/log/logstash/nohup.out 2&>1 &
启动端口：9600
[root@node03 inputs]# netstat -tnlp |grep 14832
tcp6       0      0 127.0.0.1:9600          :::*                    LISTEN      14832/java
启动日志查看
[root@node03 inputs]# tail -f /var/log/logstash/logstash-plain.log
kibana安装
#安装kibana
[root@node03 ~]# rpm -ivh kibana-6.8.1.rpm
[root@node03 ~]# rpm -ql kibana
主要的文件内容
/var/lib/kibana 		#数据目录
/var/log/kibana			#日志目录
/etc/kibana/			#配置文件目录
/usr/share/kibana/		#主程序目录
/usr/lib/systemd/system/kibana.service #系统启动脚本
#配置文件
[root@node04 kibana]# grep '^[a-Z]' /etc/kibana/kibana.yml
server.port: 5601		#端口
server.host: "0.0.0.0"	#监听地址
elasticsearch.hosts: ["http://192.168.159.130:9200"]  #elasticsearch集群地址
i18n.locale: "zh-CN"    #中文
#kibana服务启动
systemctl start kibana.service
systemctl enbale kibana.service
启动端口:5601
[root@node04 kibana]# netstat -tnlp | grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      4480/node
#查看kibana状态
http://192.168.159.132:5601/status
坚持，坚持，再坚持
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
单机、集群和分布式（微服务结构）的区别
如果频繁就私信一下呢
10-13 993
一、单机 　　单机就是所有的业务全部写在一个项目中，部署服务到一台服务器上，所有的请求业务都由这台服务器处理。显然，当业务增长到一定程度的时候，服务器的硬件会无法满足业务需求。自然而然地想到一个程序不行就部署多个喽， 这就是集群。 二、 集群 集群就是单机的多实例，在多个服务器上部署多个服务，每个服务就是一个节点，部署N个节点，处理业务的能力就提升N倍（大约），这些节点的集合就叫做集群。 负载均衡：协调集群里的每个节点均衡地接受业务请求。通俗的讲就...
ELK 集群部署
随笔亦行
09-25 2652
ELK 分为三部分组成： elasticsearch、logstach、kibanaelasticsearch: elasticsearch是个分布式搜索和分析引擎，能对大容量的数据进行接近实时的存储、搜索和分析操作logstash :数据收集引擎支持动态从各种数据源收集数据，并对数据进行过滤、分析丰富的统一格式等操作，然后存储到指定位置，这里将数据发送给elasticsearch，logstash具有强大的插件功能用于日志处理。
istio部署模型-单集群或者多集群
weixin_38320674的博客
10-09 2097
Istio的部署模型介绍部署模型当配置一个生产级别的Istio时，需要解决一些问题：如网格是单集群使用，还是跨集群使用？所有的服务会放到一个完全可达的网络中，还是需要网关来连接跨网络的服...
在 Linux 上配置和启动 Kibana 服务
最新发布
搬砖的小熊猫的博客
06-04 611
本文将指导您如何在 Linux 系统上配置和启动 Kibana 服务。Kibana 是一个开源的分析和可视化平台，旨在与 Elasticsearch 配合使用，帮助您浏览 Elasticsearch 索引的数据。通过以上步骤，您已经成功在 Linux 系统上配置和启动了 Kibana 服务。确保 Kibana 不以 root 用户身份运行，以避免潜在的权限问题。通过 systemd 服务管理，您可以方便地启动、停止和管理 Kibana 服务。
技术解读：单集群如何做到2万+规模
qq_19735585的博客
07-12 1036
【导读】 7月9日，中国通信院在大数据产业峰会·成果发布会上为通过大数据产品能力评测的产品颁发证书，华为云FusionInsight MRS以测试项全部满分的成绩顺利通过评估，并成功突破单集群2万节点的超大规模。华为云大数据2万+节点远超阿里云大数据2倍+，再创行业新高。 数据分析技术演进之路 众所周知，企业最早的分析系统是Share Everything单机形态，为了满足不断增加的企业数据分析诉求，解决单机系统分析能力不足的问题，升级硬件成为当时最典型的方法，催生了小型机市场，如IBM P780
ELK部署
u010230019的博客
04-21 673
elk
ELK集群部署手册
11-11
在部署ELK集群时，首先需要准备相关的软件包，如Elasticsearch、Logstash、Kibana和Redis等。其中，Redis作为缓存服务，可以提高数据处理效率。 接着，部署JDK是必不可少的步骤，这里推荐使用1.7或更高版本。配置好...
elk集群部署手册
08-22
**ELK集群部署手册** ELK（Elasticsearch, Logstash, Kibana）是用于日志管理和分析的流行开源工具栈。这个集群部署手册将详细介绍如何构建和配置ELK集群，以便有效地处理、解析、存储和展示大量日志数据。 ### ...
ELK 8.13.4 集群部署
05-29
ELK是Elasticsearch、Logstash和Kibana三个开源软件的缩写，它们组合成一套完整的日志收集、分析和可视化解决方案。该文档通过HTTPS模式实现ELK的部署。
使用kubernetes部署ELK日志系统
07-24
在这个场景下，我们将讨论如何利用Kubernetes（简称k8s）这一强大的容器编排平台来部署ELK日志系统。 首先，`elasticsearch.yaml` 文件代表了Elasticsearch的部署配置。Elasticsearch是一个分布式、RESTful风格的...
ELK集群部署(史上超详细)
REEB00T
12-01 3326
ELK集群部署(史上超详细)
ELK 企业级日志分析系统之集群部署
2301_76858832的博客
07-12 1762
node1节点（ 2 C / 4 G）：node1 / 192.168 .247 .80 node2节点（ 2 C / 4 G）：node2 / 192.168 .247 .90 Apache节点：apache / 192.168 .247 .131输入采用标准输入，输出采用标准输出（类似管道），新版本默认使用 rubydebug 格式输出使用 rubydebug 输出详细格式显示，codec 为一种编解码器使用 Logstash 将信息写入 Elasticsearch 中。
ELK集群搭建(基础教程)
lqcbj的博客
01-30 2388
ELK集群搭建(基础教程) 目录： 机器准备 集群内各台机器安装Elasticsearch 安装部署Kafka（注：每个节点都配置，注意ip不同） 安装logstash工具 安装filebeat ELK收集Nginx的json日志 ELK收集Nginx正常日志和错误日志 ELK收集Tomcat日志 ELK收集docker日志 配置filebeat收集单个docker日志 modules日志收集 使用redis作为缓存收集日志 使用Kafka做缓存收集日志
linux————ELK（日志收集系统集群）
a872182042的博客
08-30 2214
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
ELK集群搭建(基础教程）
qq_43279371的博客
11-13 2243
测试创建topic（注：zookeeper保存信息为：topic创建的副本是3个，分区是3个，topic主体叫做Kafkatest）3、传入es的日志为json，那么显示在kibana的格式也是json，便于日志管理。配置主机id（注意：每台主机myid都不一样，每台都要配置）思路：1、将nginx中的日志以json格式记录。2、filebeat采的时候说明是json格式。2、filebeat采的时候说明是json格式。1、配置nginx的日志以json格式记录。2、修改filebeat的配置文件。
centos7设置kibana开机自启动
青梅煮酒
02-21 520
【代码】centos7设置kibana开机自启动。
CentOS下配置Nginx、Redis、Elasticsearch、MongoDB、RocketMQ、Logstash、Filebeat、XXLJOB、Kibana开机自启动
邓邓子的博客
05-19 2456
目录一、配置 Nginx 自启动1.创建 Nginx 自启动脚本 /lib/systemd/system/nginx.service2.如果 Nginx 进程存在，先删掉进程3.设置开机自启动4.启动服务二、配置 Redis 自启动1.创建 Redis 自启动脚本 /lib/systemd/system/redis.service2.如果 Redis 进程存在，先删掉进程3.设置开机自启动4.启动服务三、配置 Elasticsearch 自启动1.创建 Elasticsearch 自启动脚本 /lib/sy
kubernetes集群部署elk
08-01
在Kubernetes集群中部署ELK的目的是为了对集群中的日志信息进行收集、存储、分析和展示。 首先，我们需要为ELK组件创建Kubernetes Deployment和Service对象。Deployment定义了应用的副本数量和升级策略，Service...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坚持，坚持，再坚持

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值