ELK
艾欧尼亚归我了
这个作者很懒,什么都没留下…
展开
-
logstash日志分析的配置和使用
logstash日志分析的配置和使用 logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。 首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给Elasticsearch进行存储、建搜索的...转载 2018-04-16 15:16:10 · 1204 阅读 · 0 评论 -
Logstash自带正则表达式
USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))NUMBER (?:%{BASE10NUM})BASE16NUM (?<![0-9A-Fa-f])(...转载 2019-04-26 12:47:36 · 855 阅读 · 0 评论 -
实战Kafka ACL机制
1.概述 在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后,连接到Kafka集群,就可以操作集群上的所有主题了。由于没有权限控制,集群核心的业务主题时存在风险的。2...转载 2019-03-04 16:33:23 · 617 阅读 · 0 评论 -
logstash使用
一、安装1、jdk 和 环境变量支持jdk-1.7以上,推荐jdk-1.8在环境变量配置:JAVA_HOME 2、安装有2种方式下载,推荐缓存rpm包到本地yum源1)直接使用rpmwget https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.4.0.noarch.rpm...转载 2019-01-14 11:24:37 · 623 阅读 · 0 评论 -
KafkaStreams介绍
Kafka Streams介绍(—)说明 本文是Confluent Platform 3.0版本中对于Kafka Streams的翻译。 原文地址:https://docs.confluent.io/3.0.0/streams/index.html 看了很多其他人翻译的文档, 还是第一次翻译,有什么翻译的不好的地方还请指出。介绍Kafka Streams – 举重若轻的强大K...转载 2018-09-18 09:42:05 · 1547 阅读 · 0 评论 -
kibana安装及使用
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-linux-x86_64.tar.gztar -zxvf kibana-5.5.0-linux-x86_64.tar.gz mv kibana-5.5.0-linux-x86_64 /usr/local/kibanacd /usr/local/kibana/#######...原创 2018-06-29 14:18:11 · 462 阅读 · 0 评论 -
Logstash日志收集(三)
Logstash日志收集(三)还是得先顺着官网了解一波:https://www.elastic.co/products/logstash一、跟着官网学习下Logstash的基本概念 集中,转换和隐藏。您的数据Logstash是一个开源的服务器端数据处理管道,可以同时从多个源中获取数据,并将其转换为您喜欢的“存储”(自然是Elasticsearch)。)1.1 Logstash 6.0.0新增功能用...转载 2018-04-17 17:26:43 · 6880 阅读 · 1 评论 -
elasticsearch安装与基础用法
来自官网,版本为2.3注意elasticsearch依赖jdk,2.3依赖jdk7下载rpm包并安装wget -c https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.5/elasticsearch-2.3.5.rpmrpm -ivh elas...转载 2018-04-17 14:05:05 · 123 阅读 · 0 评论 -
ElasticSearch安装实操问题及解决方案记录
一、安装包下载rpm包并安装wget -c https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.5/elasticsearch-2.3.5.rpmrpm -ivh elasticsearch-2.3.5.rpm配置文件位于/etc/elasti...原创 2018-04-17 13:57:59 · 218 阅读 · 0 评论 -
日志系统ELK使用详解(五)--补充
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充一般来说日志信息我们只需要一段时间以内的,为了节省空间和服务器,可能会定期的删除一部分比较老的日志文件,比如一个月之前的。我们自己这边设定的是删除两...转载 2018-04-16 20:33:10 · 126 阅读 · 0 评论 -
日志系统ELK使用详解(四)--kibana安装和使用
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充这是这个小系列的最后一篇了,我们将看到如何安装kibana,以及对ELK中的日志信息进行快速查询。kibana安装1.到官网下载kibana; 2....转载 2018-04-16 20:32:26 · 395 阅读 · 1 评论 -
日志系统ELK使用详解(三)--elasticsearch安装
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充紧接上一篇,这一篇我们开始安装es,这里使用的是es5.3.0版本,可以在官网下载:https://www.elastic.co/cn/downlo...转载 2018-04-16 20:31:44 · 384 阅读 · 0 评论 -
日志系统ELK使用详解(二)--Logstash安装和使用
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充在开始之前先说一下Logstash的使用和熟悉路线图。接触ELK的时候不能图快,可以尝试着一部分一部分的安装起来熟悉,之后再逐个组装到一起,看效果。...转载 2018-04-16 20:31:02 · 245 阅读 · 0 评论 -
日志系统ELK使用详解(一)--如何使用
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充当我们管理和使用的后端服务程序突破单台场景,进入到集群部署场景时,日志文件就会散落在多台后端服务器上。这时候要查看、统计日志信息就需要到各个服务器上...转载 2018-04-16 20:30:18 · 3233 阅读 · 0 评论 -
logstash采集与清洗数据到elasticsearch案例实战
Logstash的使用logstash支持把配置写入文件 xxx.conf,然后通过读取配置文件来采集数据./bin/logstash –f xxx.conflogstash最终会把数据封装成json类型,默认会添加@timestamp时间字段、host主机字段、type字段。原消息数据会整个封装进message字段。如果数据处理过程中,用户解析添加了多个字段,则最终结果又会多出多个字段。也可以在...转载 2018-04-16 18:58:53 · 1951 阅读 · 3 评论 -
Logstash进阶指南
1. 万能的ruby filter“Logstash 是开源的服务器端数据处理管道,能够同时 从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的存储库中。”这是elastic官方对Logstash的定义。Logstash提供了大量的组件,使得我们可以用组件搭积木的形式,通过配置文件,轻松完成常见的数据基本处理工作。今天要讨论的ruby filter就是其中的数据处理组件。不过,既然是讨论...转载 2019-05-18 17:04:32 · 1274 阅读 · 0 评论