ELK
文章平均质量分 93
weixin_46837396
这个作者很懒,什么都没留下…
展开
-
Kafka介绍和架构、结合zookeeper集群部署
一、Kafka介绍和架构1.1介绍Kafka是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于访问日志,消息服务等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目主要应用场景是:日志收集系统和消息系统Kafka是基于消息发布-订阅模式实现的消息系统,其主要涉及有以下特点:1 消息持久化:以时间复杂度为O(1)的方式提供消息持久能力虽然Kafka的持久化在一定程度上来说比较依赖磁盘的性能,但是Kaf原创 2021-08-17 08:35:58 · 506 阅读 · 0 评论 -
zookeeper的介绍、安装、集群架构
zookeeper集群架构(三台)1.环境准备安装java环境 rpm -ivh jdk-8u181-linux-x64.rpm 下载zookeeper安装包wget https://mirror-hk.koddos.net/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz解压tar xf apache-zookeeper-3.7.0-bin.tar.gz2.创建目录创建zookeeper目录 mk原创 2021-08-17 08:35:40 · 796 阅读 · 0 评论 -
filebeat+zookeeper+kafka原理图
文章目录1.架构图1)什么是Elasticsearch?2)什么是 Logstash?3)什么是 是 kibana ?4)Filebeat隶属于Beats。5.filebeat工作原理:2.组件组成:3.zookeeper+kafka工作原理3.1zookeeper工作原理角色:3.2kafka工作原理(消息中间件)3.2.1 点对点模式3.2.2 发布订阅模式3.2.3 kafka 高吞吐量的分布式发布订阅消息系统1.架构图简版:位于各个节点上的filebeat将收集到的日志数据output给es存原创 2021-08-12 09:35:06 · 538 阅读 · 0 评论 -
filebeat收集日志+ELK架构、ELK监控
filebeat轻量级日志收集组件,基本不消耗内存主要工作:在每一台机器内收集日志,将日志同步到 > redis > logstash > Elasticsearch 所以每台机器都要装filebeat,选择对应所需组件进入下载,这里选择filebeat > 选择版本下载1.下载安装[root@es-01 ~]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.1-x原创 2021-08-11 19:32:03 · 1079 阅读 · 0 评论 -
部署LogStach+kibana
LogStach介绍:数据收集引擎Logstash 是一个开源的数据收集引擎,可以水平伸缩,而且 logstash 整个 ELK 当中拥有最多插件的一个组件,其可以接收来自不同来源的数据并统一输出到指定的且可以是多个不同目的地。一、部署LogStach所有节点https://www.elastic.co/guide/en/logstash/7.12/plugins-outputs-stdout.html#plugins-outputs-stdout-codec部署logstach分别有原创 2021-08-11 10:36:16 · 748 阅读 · 0 评论 -
ELK介绍、Elasticsearch单节点部署、Elasticsearch集群部署
一、什么是ELK?通俗来讲,ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组 成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK 又称 为 ELK stack,官方域名为 stactic.co,ELK stack 的主要优点有如下几个:处理方式灵活: elasticsearch是实时全文索引,具有强大的搜索功能配置相对简单:elasticsearch 全部使用JSON 接口,logstash 使用模块配置,kibana的配置文件部分更简单。原创 2021-08-09 20:26:16 · 793 阅读 · 0 评论