Elasticsearch+filefeat+Kibana(EFK)架构学习

于 2023-04-11 18:01:39 发布
阅读量536 收藏
点赞数
文章标签： elasticsearch 架构 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45633353/article/details/130088819
版权

一. 安装ES7集群

  1. 准备三台服，最少配置2core4G,磁盘空间最少20G,并关闭防火墙
  2. 设置集群免密登录，方便scp文件等操作参考集群免密登录方法
  3. 下载es7的elasticsearch-7.17.3-x86_64.rpm包
  4. 安装
yum -y localinstal elasticsearch-7.17.3-x86_64.rpm
  1. 修改node1配置文件
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: elk
node.name: elk01
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
discovery.seed_hosts: ["10.10.10.11","10.10.10.12","10.10.10.13"]
cluster.initial_master_nodes: ["10.10.10.11","10.10.10.12","10.10.10.13"]

相关参数说明:

  • cluster.name:
    集群名称，若不指定，则默认是"elasticsearch",⽇志⽂件的前缀也是集群名称。
  • node.name:
    指定节点的名称，可以⾃定义，推荐使⽤当前的主机名，要求集群唯⼀。
  • path.data:
    数据路径。
  • path.logs:
    ⽇志路径
  • network.host:
    ES服务监听的IP地址
  • discovery.seed_hosts:
    服务发现的主机列表，对于单点部署⽽⾔，主机列表和"network.host"字段置相同即可
  1. 同步配置⽂件到集群的其他节点
data_rsync.sh /etc/elasticsearch/elasticsearch.yml
并修改其他两个节点的name
  1. 删除所有临时数据
rm -rf /var/{lib,log}/elasticsearch/* /tmp/*
ll /var/{lib,log}/elasticsearch/ /tmp/
  1. 分别在三个节点启动es服务
systemctl start elasticsearch

9.验证集群状态

curl 10.10.10.11:9200/_cat/nodes?v

在这里插入图片描述

二，在11机器上安装kibana

  1. 下载kibana的rpm包，并安装
yum -y localinstall kibana-7.17.3-x86_64.rpm
  1. 修改kibana的配置⽂件
vim /etc/kibana/kibana.yml
...
server.host: "10.10.10.11"
server.name: "kibana-server"
elasticsearch.hosts:
["http://10.10.10.11:9200","http://10.10.10.12:9200","http://10.10.10.13:9200"]
i18n.locale: "en"
  1. 启动kibana服务
systemctl enable --now kibana
systemctl status kibana
systemctl start kibana

在这里插入图片描述

kibana的使用

  1. 下图1处是资源监控，监控节点，数据等，2处是stack管理
    在这里插入图片描述
  2. 点开stack管理，可以看见里面有如下图，1处是索引管理2、处是索引匹配规则，可以在索引pattern设置匹配的pattern,即可在discover里面显示匹配的模板。
    在这里插入图片描述

三，filebeat使用和配置模板

  1. 安装filebeat
yum -y localinstall filebeat-7.17.3-x86_64.rpm
  1. 编写配置文件，在/etc/filebeat/config目录下
mkdir /etc/filebeat/config
cat > /etc/filebeat/config/01-stdin-to-console.yml <<'EOF'
# 指定输⼊的类型
filebeat.inputs:
# 指定输⼊的类型为"stdin",表示标准输⼊
- type: stdin
# 指定输出的类型
output.console:
 # 打印漂亮的格式
 pretty: true
EOF

(2)运⾏filebeat实例,即可在控制台输入，控制台打印处理后的结果

filebeat -e -c /etc/filebeat/config/01-stdin-to-console.yml

filebeat的几种模式和配置

  1. 直接控制台输入输出，就是上面配置。stadio格式
  2. log格式，直接读取log文件，并输出控制台，tags就是一个标签，用作判断，field是自定义的字段
filebeat.inputs:
- type: log
 # 是否启动当前的输⼊类型，默认值为true
 enabled: true
 # 指定数据路径
 paths:
 - /tmp/test.log
 - /tmp/*.txt
 # 给当前的输⼊类型搭上标签
 tags: ["测试","容器运维","DBA运维","SRE运维⼯程师"]
 # ⾃定义字段
 fields:
   school: "出去了化工大学"
- type: log
 enabled: true
 paths:
 - /tmp/test/*/*.log
 tags: ["kafka","云原⽣开发"]
 fields:
   name: "测试"
   hobby: "linux,抖⾳"
 # 将⾃定义字段的key-value放到顶级字段.
 # 默认值为false，会将数据放在⼀个叫"fields"字段的下⾯.
 fields_under_root: true
output.console:
 pretty: true
  1. 将输出写入elasticsearch
filebeat.inputs:
- type: log
 # 是否启动当前的输⼊类型，默认值为true
 enabled: true
 # 指定数据路径
 paths:
 - /tmp/test.log
 - /tmp/*.txt
 # 给当前的输⼊类型搭上标签
 tags: ["测试","容器运维","DBA运维","SRE运维⼯程师"]
 # ⾃定义字段
 fields:
   school: "出去了化工大学"
- type: log
 enabled: true
 paths:
 - /tmp/test/*/*.log
 tags: ["kafka","云原⽣开发"]
 fields:
   name: "测试"
   hobby: "linux,抖⾳"
 # 将⾃定义字段的key-value放到顶级字段.
 # 默认值为false，会将数据放在⼀个叫"fields"字段的下⾯.
 fields_under_root: true
output.elasticsearch:
 hosts:["http://10.10.10.11:9200","http://10.10.10.12:9200","http://10.10.10.13:9200"]

即可在kibana根据配置好的模板和pattern查询相应的日志记录
在这里插入图片描述
4. 配置日志过滤

 include_lines: ['^ERROR', '^WARN','DANGER']
 # 指定⿊名单，排除指定的内容
 exclude_lines: ['^DBUG',"TEST"]
  1. 自定义索引模板名称
filebeat.inputs:
- type: log
 # 是否启动当前的输⼊类型，默认值为true
 enabled: true
 # 指定数据路径
 paths:
 - /tmp/test.log
 - /tmp/*.txt
 # 给当前的输⼊类型搭上标签
 tags: ["测试","容器运维","DBA运维","SRE运维⼯程师"]
 # ⾃定义字段
 fields:
   school: "出去了化工大学"
- type: log
 enabled: true
 paths:
 - /tmp/test/*/*.log
 tags: ["kafka","云原⽣开发"]
 fields:
   name: "测试"
   hobby: "linux,抖⾳"
 # 将⾃定义字段的key-value放到顶级字段.
 # 默认值为false，会将数据放在⼀个叫"fields"字段的下⾯.
 fields_under_root: true
output.elasticsearch:
 hosts:["http://10.10.10.11:9200","http://10.10.10.12:9200","http://10.10.10.13:9200"]
 index: "es-linux-eslog-%{+yyyy.MM.dd}"
# 禁⽤索引⽣命周期管理
setup.ilm.enabled: false
# 设置索引模板的名称
setup.template.name: "es-linux-eslog"
# 设置索引模板的匹配模式
setup.template.pattern: "es-linux-eslog*"
  1. 多个索引，写入多个索引案例
filebeat.inputs:
- type: log
 # 是否启动当前的输⼊类型，默认值为true
 enabled: true
 # 指定数据路径
 paths:
 - /tmp/test.log
 - /tmp/*.txt
 # 给当前的输⼊类型搭上标签
 tags: ["测试","容器运维","DBA运维","SRE运维⼯程师"]
 # ⾃定义字段
 fields:
   school: "出去了化工大学"
- type: log
 enabled: true
 paths:
 - /tmp/test/*/*.log
 tags: ["kafka","云原⽣开发"]
 fields:
   name: "测试"
   hobby: "linux,抖⾳"
 # 将⾃定义字段的key-value放到顶级字段.
 # 默认值为false，会将数据放在⼀个叫"fields"字段的下⾯.
 fields_under_root: true
output.elasticsearch:
 hosts:["http://10.10.10.11:9200","http://10.10.10.12:9200","http://10.10.10.13:9200"]
  indices:
 - index: "es-linux-eslog-%{+yyyy.MM.dd}"
 # 匹配指定字段包含的内容
   when.contains:
     tags: "DBA运维"
 - index: "es-linux-eslog-DBA-%{+yyyy.MM.dd}"
   when.contains:
     tags: "kafka"
 
#
# 禁⽤索引⽣命周期管理
setup.ilm.enabled: false
# 设置索引模板的名称
setup.template.name: "es-linux-eslog"
# 设置索引模板的匹配模式
setup.template.pattern: "es-linux-eslog*"
  1. 日志的多行匹配，参考官方图
    在这里插入图片描述
multiline.type: pattern
# 指定匹配模式
#表示收集[开头到下一个[开头的位置的日志
 multiline.pattern: '^\['
# 下⾯2个参数参考官⽅架构图即可，如上图所示。
 multiline.negate: true
 multiline.match: after
毕业有1000个offer
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
微服务简介
xmh_sxh_1314的博客
04-01 627
解析微服务架构系列文章将分几篇描述微服务的定义、特点、应用场景、企业集成架构的演进以及微服务转型思路和技术决策考虑等内容，并以IBM技术为例介绍如何实现微服务架构转型。为什么需要微服务架构“微服务”架构是近期软件应用领域非常热门的概念。让我们先来看看传统IT架构面临的一些问题： 使用传统的整体式架构(Monolithic Architecture)应用开发系统，如CRM、ERP等大型应用，随着新...
电商大数据日志收集系统之EFK
ACTIONTIME的博客
03-15 1558
EFK
【2022】快速部署一个可用的EFK-7.17架构
皮皮的博客
10-24 1194
通过{filebeat、elasticsearch、kibana}-7.17.6版本快速部署一个EFK开发测试架构
EFK部署centos7.9（四）Filebeat 部署
W1124824402的博客
11-18 1102
nohup ./filebeat -e -c filebeat.yml > filebeat.log & 运行filebeat。- /var/log/*.log 修改为需要读取的日志路径。mv filebeat.yml filebeat.yml.bak 重新写一个配置文件。hosts: ["192.168.11.139:9200"] 配置es的地址。host: "192.168.11.140:5601" 配置kebana的地址。
NetDevOps网络设备日志分析与环境搭建-EFK(Elasticsearch+Filebeat+Kibana)
tushanpeipei的博客
05-29 986
ElasticSearch： Elasticsearch是一个分布式的免费开源搜索和分析引擎数据库，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。 Filebeat：（或者使用Logstash） 轻量级日志服务器，对日志信息进行分词，并将分词后的结果发送到ElasticSearch上去。 Logstash相对于Filebeat功能更加强悍。 Kibana： ElasticSearch的图形化界面，搭载了一批经典功能：柱状图、线状图、饼图图，等等。除此之外，还可以自己定义属于可视
efk-docker:elasticsearch +流利的+ kibana
05-10
---version: '2.4'services: elasticsearch: image: ${ELASTICSEARCH_IMAGE} restart: always environment: - 'node.name=HEYJUDE' - 'discovery.type=single-node' - 'bootstrap.memory_lock=true' - 'ES_JAVA_OPTS...
记一次K8s EFK(elasticsearch+fluentd+kibana)搭建排错经历
01-07
部署教程：https://qhh.me/2019/09/05/Kubernetes-基于-EFK-技术栈的日志收集实践/ yaml地址：...Elasticsearch 数据持久化：默认 EmptyDir 的方
Elasticsearch+Fluentd+Kafka搭建日志系统
01-20
其中本文所讲的EFK是Elasticsearch+Fluentd+Kfka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程. 前提 docker docker-compose apache kafka服务 架构 数据采集流程 数据的产生使用...
EFK堆栈：Elasticsearch + FluentD（Fluent-Bit）+ Kibana
02-20
Elasticsearch + FluentD（Fluent-Bit）+ Kibana 流利位适用于内部服务器。 中继（流利位）用于外部服务器。 FluentD适用于Office Server。流利的位和FluentD 例子$ make -e SSH=sshname rebuild-deploy中继对于...
kubernetes-efk：设置Elasticsearch，Fluentd和Kibana（EFK）
02-22
Kubernetes上的弹性云 注意：Elasticstack中的命名空间已更改为logging 在此存储库中，我们将设置Elasticsearch和Kibana，然后设置Fluentd松紧带在本节中，我们将与Elasticsearch和Kibana一起设置elastitc运算符在您...
EFK日志系统安装配置文档
08-01
ELK、EFK安装及配置文档，详细的阐述了EFK架构，其中包括了kafka、elasticsearch、elasticsearch-head、nodejs、kibana、logstash、filebeat等的安装配置。
filebeat
wjandy0211的博客
09-08 2053
filebeat是什么，可以用来干嘛 filebeat的原理是怎样的，怎么构成的 filebeat应该怎么玩 回到顶部 一、filebeat是什么 1.1、filebeat和beats的关系 　　首先filebeat是Beats中的一员。 　　Beats在是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。 目
【ELFK】之Filebeat
种一颗树最好的时间是十年前，其次是现在！
09-03 851
Filebeat适用于转发和集中数据的轻量级传送工具，Filebeat监视了指定的日志文件或位置，收集日志事件，并将他们转发到Elasticsearch或Logstash进行索引。**Filebeat的工作方式：**启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找，对于Filebeat所找到的每个日志，Filebeat都会启动收集器。
日志收集器Filebeat详解
热门推荐
猴子哥哥的博客
04-26 1万+
一、简介 1、Beats是elastic公司的一款轻量级数据采集产品，它包含了几个子产品： 1）packetbeat(用于监控网络流量) 2）filebeat(用于监听日志数据，可以替代logstash-input-file) 3）topbeat(用于搜集进程的信息、负载、内存、磁盘等数据) 4）winlogbeat(用于搜集windows事件日志) 注：社区还提供了dockerbea
常用的ELK/EFK架构
IChen.的博客
08-24 467
基础架构： 1/ Kibana---->elasticsearch---->Logstash(收集) 2/ Kibana---->elasticsearch---->filebeat(收集) 3/ Kibana---->elasticsearch---->Logstash(过滤)---->filebeat(收集) 扩展架构： 1/ Kibana---->elasticsearch---->Logstash(过滤)---->redis(缓存)-
ELK 日志分析系统（Elasticsearch + Logstash + Kibana 的理论详解）（附 EFK 架构的介绍）
Xucf1
03-02 1090
文章目录前言一、ELK 日志分析系统简介1.日志服务器2.ELK 日志分析系统3.日志处理步骤二、Elasticsearch 介绍1.概述2.核心概念2.1 接近实时（NRT）2.2 集群（Cluster）2.3 节点（node）2.4 索引（index）2.5 类型（type）2.6 文档（document）2.7 分片（Shard）2.8 副本（Replicas）2.9 小结三、Logstash 介绍四、Kibana 介绍1.概述2.主要功能五、拓展：EFK 前言 日志分析是运维工程师解决系统故障，
Kubernetes 集群日志 和 EFK 架构日志方案
dotNET跨平台
02-16 627
目录第一部分：Kubernetes 日志Node Level Logging AgentStreaming sidecar containerSidecar Logging AgentKu...
kubernetes集群EFK日志框架部署
xingyuzhe的博客
07-16 5846
目标：在现有Kubernetes集群中搭建EFK日志框架，实现集群日志的存储与展示环境：Kubernetes集群(kubeadm方式部署)步骤：Kubernetes日志架构概述-&gt;Fluentd日志收集容器部署-&gt;Elasticsearch日志存储容器部署-&gt;Kibana日志展示容器部署1.Kubernetes日志架构概述在Kubernetes集群中，Cluster-Level ...
史上EFK日志系统最全教程-安装及配置
精品博客
08-01 1万+
                                                 EFK日志系统安装文档 因word整理的格式粘贴到csdn上变化很大，感觉影响阅读的博友们可以从下面链接下载word格式文档。 文档地址：https://download.csdn.net/download/anxianfeng55555/10576244 1. 概述 1 1.1. 配置规划...
EFK中，ES超过洪水线，kibana不展示，如何处理
最新发布
06-06
当Elasticsearch节点中的磁盘空间使用率超过洪水线（默认为95%）时，它将停止写入新的索引。这可能会导致Kibana不显示新的数据。 要解决此问题，你需要采取以下步骤： 1. 扩展Elasticsearch集群以添加更多的节点或存储空间。这将帮助你在磁盘空间使用率接近洪水线时，提前预防并避免ES停止写入。 2. 如果你无法扩展Elasticsearch集群，你可以尝试删除旧的、不再需要的索引以释放磁盘空间。你可以在Kibana的Dev Tools中运行以下命令删除旧的索引： ``` DELETE /your-index-name ``` 请注意，这将永久删除索引和其中的所有数据，因此请谨慎操作。 3. 你还可以考虑增加洪水线的限制，但这并不是一个推荐的解决方案，因为它可能会导致数据丢失和其他问题。 希望这些步骤可以帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值