Elastic Stack
文章平均质量分 88
beats zookeeper kafka logstash elasticsearch kibana
途径日暮不赏丶
开源是一种精神、
展开
-
ELK收集Nginx访问日志实战案例
9.2、Nginx的日志格式与日志变量Nginx跟Apache一样,都支持自定义输出日志格式,在进行Nginx日志格式定义前,先来了解一下关于多层代理获取用户真实IP的几个概念。 remote_addr:表示客户端地址,但有个条件,如果没有使用代理,这个地址就是客户端的真实IP,如果使用了代理,这个地址就是上层代理的IP。 X-Forwarded-For:简称XFF,这是一个HTTP扩展头,格式为 X-Forwarded-For: client, proxy1, proxy2,如果一个HTTP请原创 2021-08-15 16:45:47 · 1560 阅读 · 2 评论 -
ELK收集Apache访问日志实战案例
ELK收集日志常用的有两种方式,分别是:1. 不修改源日志的格式,而是通过logstash的grok方式进行过滤、清洗,将原始无规则的日志转换为规则的日志。2. 修改源日志输出格式,按照需要的日志格式输出规则日志,logstash只负责日志的收集和传输,不对日志做任何的过滤清洗。这两种方式各有优缺点,第一种方式不用修改原始日志输出格式,直接通过logstash的grok方式进行过滤分析,好处是对线上业务系统无任何影响,缺点是logstash的grok方式在高压力情况下会成为性能瓶颈,如果要分析的日志量原创 2021-08-14 10:30:53 · 469 阅读 · 0 评论 -
Logstash配置语法
文章目录Logstash基本语法组成Logstash输入插件(Input)Logstash编码插件(Codec)Logstash过滤器插件(Filter插件)Logstash输出插件(output)Logstash基本语法组成logstash之所以功能强大和流行,还与其丰富的过滤器插件是分不开的,过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的事件到后续流程中。Logstash配置文件有如下三部分组成,其中input、output部分是必须配置,filt原创 2021-08-11 18:46:43 · 3741 阅读 · 0 评论 -
filebeat基础
什么是FilebeatFilebeat是一个开源的文本日志收集器,它是elastic公司Beats数据采集产品的一个子产品,采用go语言开发,一般安装在业务服务器上作为代理来监测日志目录或特定的日志文件,并把它们发送到logstash、elasticsearch、redis或Kafka等。 可以在官方地址https://www.elastic.co/cn/downloads/beats下载各个版本的Filebeat。Filebeat架构与运行原理Filebeat是一个轻量级的日志监测、传输工具,它最大原创 2021-08-10 22:06:53 · 618 阅读 · 0 评论 -
kafka基础
kafka基本概念Kafka是一种高吞吐量的分布式发布/订阅消息系统,这是官方对kafka的定义,kafka是Apache组织下的一个开源系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop平台的数据分析、低时延的实时系统、storm/spark流式处理引擎等。kafka现在它已被多家大型公司作为多种类型的数据管道和消息系统使用。kafka角色术语在介绍架构之前,先了解下kafka中一些核心概念和各种角色。Broker:Kafka集群包含一个或多个服务器,每个服务原创 2021-08-09 15:26:20 · 225 阅读 · 0 评论 -
ZooKeeper基础
ZooKeeper概念介绍在介绍ZooKeeper之前,有必要先说明一下分布式协调技术,所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种共享资源,防止造成资源竞争(脑裂)的后果。首先说明什么是分布式系统:所谓分布式系统就是在不同地域分布的多个服务器,共同组成的一个应用系统来为用户提供服务,在分布式系统中最重要的是进程的调度,这里假设有一个分布在三个地域的服务器组成的一个应用系统,在第一台机器上挂载了一个资源,然后这三个地域分布的应用进程都要竞争这个资源,原创 2021-08-08 09:33:26 · 117 阅读 · 0 评论 -
Elastic Stack 概述
文章目录一、Elastic Stack简介三、elasticsearch四、logstash二、Beats五、kibana六、常见架构一、Elastic Stack简介“ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用原创 2021-04-24 22:24:20 · 2894 阅读 · 0 评论