ELK日志分析系统—ELKstack
文章平均质量分 78
25年如光驹过隙
这个作者很懒,什么都没留下…
展开
-
kibana
用户可以通过Kibana构建交互式的仪表盘,根据数据生成图表和图形,进行数据过滤和查询,以及将数据在地图上进行地理可视化。这使得用户能够通过直观的方式从大量的数据中提取有价值的见解,进行数据挖掘和分析。Kibana是一个开源的数据可视化和分析平台,主要用于与Elasticsearch一起使用,帮助用户更好地理解和分析存储在Elasticsearch中的数据。总之,Kibana为用户提供了一个强大的工具,帮助他们将复杂的数据转化为易于理解和分享的可视化形式,从而更好地了解数据中的模式、趋势和关联。原创 2023-08-16 09:42:56 · 116 阅读 · 0 评论 -
logstash 原理(含部署)
1、ES原理原理 使⽤filebeat来上传⽇志数据,logstash进⾏⽇志收集与处理,elasticsearch作为⽇志存储与搜索引擎,最后使⽤kibana展现⽇志的可视化输出。所以不难发现,⽇志解析主要还 是logstash做的事情从上图中可以看到,logstash主要包含三⼤模块:1、INPUTS: 收集所有数据源的⽇志数据([源有file、redis、beats等,filebeat就是使⽤了beats源*);原创 2023-08-15 16:14:37 · 604 阅读 · 0 评论 -
ES 概念
Elasticsearch是分布式实时搜索、实时分析、实时存储引擎,简称(ES)成立于2012年,是一家来自荷兰的、开源的大数据搜索、分析服务提供商,为企业提供实时搜索、数据分析服务,支持PB级的大数据。它们共同构成了Ela。总结:索引是数据的逻辑容器,文档是基本的数据单位,类型(现已弃用)曾用于在索引内部区分不同的数据结构。:一个节点是你集群中的一个服务器,作为集群的一部分,它存储你的数据,参与集群的索引和搜索功能。每个分片是一个独立的、自包含的数据单元,它包含了索引的部分数据以及相关的索引结构信息。原创 2023-08-15 10:22:29 · 531 阅读 · 0 评论 -
elasticsearch-head 插件
*Kopf** 是另一个第三方提供的一款很优秀的插件,在head功能的基础上,又增加了很多优秀的功能,基本上可以完成所有功能,比如settings的配置、mapping的新增 、修改。**Head** 是第三方提供的一款很优秀的插件,集监控、查询、配置一体的web功能系统,可以在系统中进行创建、删除索引 、文档。下载地址:https://github.com/mobz/elasticsearch-head。1、下载地址:https://nodejs.org/en/download/原创 2023-08-14 17:17:06 · 812 阅读 · 0 评论 -
kafka 理论知识
Kafka是一个分布式的消息订阅系统。原创 2023-08-02 17:32:06 · 1351 阅读 · 0 评论 -
elasticsearch 安装
下载。原创 2023-08-01 17:09:38 · 903 阅读 · 0 评论 -
kafka部署
在计算机领域中,二进制下载通常指预构建的软件分发包,可以直接安装在系统上并使用"2.12":这是 Kafka 的 Scala 版本号。Scala 是一种在 Java 虚拟机上运行的编程语言,Kafka 是使用 Scala 编写的"kafka_2.12-2.4.0" 表示 Kafka 使用 Scala 2.12.x 编写,具体版本为 2.4.0。原创 2023-08-01 15:44:03 · 1233 阅读 · 0 评论 -
kafka raft协议
但对于 "__consumer_offsets" 这个内置Topic,Kafka会确保其只有一个Partition,并且该Partition在集群中的所有Broker上都有一个副本,以确保该信息的高可用性。实际上,Kafka 集群中只有分区的主节点(leader)负责处理来自生产者的消息和消费者的读取请求,而其他节点维护分区的副本(replica)。Kafka的日志,每个分区是一个逻辑上的文件,顺序写入,只有一个Partition的时候,所有消息都是顺序的。即承担了各种元数据的保存和各种选举。原创 2023-07-31 17:05:53 · 929 阅读 · 0 评论 -
filebeat介绍
1.Prospectors:检测和采集日志数据的组件,可以检测新的日志文件或文件增量,并向Harvesters发送读取请求。2.Harvesters:读取日志文件的组件,会读取Prospector传来的日志文件,进行过滤和捕捉,并将事件发送给Spooler。3.Spooler:收集Harvester读取的事件,并进行缓冲,最后批量发送给输出(Output)。4.Registry记录哪些文件被读取过,和读取到的Offset,用于下次检测文件增量。原创 2023-07-28 17:01:49 · 1190 阅读 · 0 评论