ELK&消息队列
文章平均质量分 93
ELK&消息队列
why_upup
这个作者很懒,什么都没留下…
展开
-
rabbitMQ
MQ简介: MQ 全称为Message Queue, 消息队列。是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。消息传递指的是程序之间,通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信。队列的使用除去了接收和发送应用程序,同时执行的要求。 在项目中,将一些无需即时返回且耗时的操作提取出来,进行了异步处理,而这种异步处理的方式,大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量。...原创 2022-01-02 11:45:33 · 1907 阅读 · 0 评论 -
kafka消息队列
简介数据缓冲队列。同时提高了可扩展性。具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。Kafka是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景特性:高吞吐量:kafka每秒可以处理几十万条消息。可扩展性:kafka集群支持热扩展- 持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失容错性原创 2022-01-07 12:06:11 · 3061 阅读 · 0 评论 -
ELK日志分析平台
一.ELK架构二.filebeat 日志收集可以使用 Filebeat 收集各种日志,之后发送到指定的目标系统上,但是同一时间只能配置一个输出目标。Filebeat 会对配置好的日志内容进行收集,第一次会从每个文件的开头一直读到当前文件的最后一行。每一行称为一个事件,格式是一个包含很多字段的大字典,也就是 JSON 格式的数据。在 Filebeat中负责完成这个动作的官方称它为 Harvester (收割机)。每个事件将来会被保存到 Elasticsearch 中在收割机读到文件的最后,会停原创 2022-01-07 21:22:09 · 1496 阅读 · 0 评论 -
ELK+kafka实验
实现环境:实验环境:elk1: 192.168.31.204elk2: 192.168.31.205elk3: 192.168.31.207软件部署:elk1: filebeat+logstash+elasticsearch+kafka+kibenaelk2:elasticserach+kafkaelk3:elasticsearch+kafka实验步骤:1.dns域名解析(3台)vim /etc/hosts127.0.0.1 localhost l原创 2022-01-07 20:36:03 · 2363 阅读 · 0 评论