![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ELK
文章平均质量分 91
小小猪0904
这个作者很懒,什么都没留下…
展开
-
安装elasticsearch-head插件
一、环境centos7elastichsearch-6.2.2node v8.11.3二、nodejs的下载安装其中,系统安装这里不讲了,elastichsearch-6.2.2安装教程在这里。安装elasticsearch-head插件需要nodejs的支持,所以此处讲解一下安装nodejs步骤。1.安装包下载到nodejs官网现在最新nodejs,官网下载地址:...原创 2018-07-30 14:50:51 · 1143 阅读 · 0 评论 -
Elasticsearch 查询详解
实现对es中存储的数据进行查询分析,以_search为结尾,查询主要有两种形式:URI Search:操作简便,方便通过命令行测试,仅包含部分查询语法Request Body Search:es提供完备查询语法Query DSL(Domain Specific Language)URI Search详解通过url query参数来实现搜索,常用参数如下:q: 指定查询语...原创 2018-09-10 17:37:25 · 2429 阅读 · 0 评论 -
Elasticsearch数据建模之——mapping字段的相关配置
es作为以倒排索引为基础实现的存储体系,不遵循关系型数据库中的范式约定,它的数据建模,是根据部署需求和性能需求的物理模型;而在这个建模的过程中,由于es是可以水平扩展的,可以存储到TB级以上的大数据的原因,他的一些预配置就显得尤其重要了,这关系到整个es的性能和查询效率。—//— 类似于关系型数据库里面的表结构设计,es中对应的是mapping配置;这一章主要讲的就是mappi...原创 2018-09-10 11:38:55 · 3109 阅读 · 0 评论 -
logstash grok 自测实例+常用正则(grok-patterns)
一、背景研究了grok一下整天,虽然知识还是很浅薄,但还是在这里做个总结。场景 在使用logstash进行日志收集工作的时候,filter是个很重要的插件,而其中的Grok能很好的解析日志。 logstash教程:https://blog.csdn.net/qq_34646817/article/details/81232083 grok教程:https://blog...原创 2018-08-01 17:23:12 · 9130 阅读 · 1 评论 -
Logstash之filter学习(官网)(GROK+GEO IP+FINGERPRINT+DATE)
写在前面:logstash的插件有很多,即使filter的插件也有很多,因为生产马上要实践了,这边做一个归类总结 学习来源:官方文档基本说明官方的文档里面,主要讲了以下几个filter的作用。首先,filter的定义是为了即时解析和转换您的数据当数据从源传输到存储时,Logstash过滤器会解析每个事件,识别命名字段以构建结构,并将它们转换为汇聚在通用格式上,...原创 2018-07-27 16:33:21 · 4401 阅读 · 0 评论 -
log4J日志收集(filebeat+logstash+Elasticsearch )
一、说明最近在学习logstash,发现内容特别多,除了基本的知识的学习以外,最多的就是插件的学习了,可是我看了下官网的插件,最新的版本6.3的插件展示如下: - 输入插件(Input plugins)beats,cloudwatch,couchdb_changes,dead_letter_queue,elasticse,rch,exec,file,ganglia,gelf,g...原创 2018-07-27 09:58:57 · 9558 阅读 · 1 评论 -
Logstash学习
写在前面:本文是学习总结内容,侵犯到别的文章,在这里说声抱歉~~一、基础知识1.Hello World运行在终端中,像下面这样运行命令来启动 Logstash 进程:bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'然后你会发现终端在等待你的输入。没问题,敲入 H...转载 2018-07-27 09:58:18 · 3988 阅读 · 2 评论 -
ELK详解(各个插件详解,未完待续)
一、背景说明二、概念解析三、Elasticsearch1.基本概念2.查询语句入门(1)search搜索语句入门之URL搜索(2)简单的curl 语句对索引的操作(3)DSL语句进行查询搜索三、Logstash1.基本概念2.Logstash插件介绍一、背景说明之前讲了下ELK的安装,但是对各个组件的理解,使用都是一知半解。 这...原创 2018-07-27 09:54:11 · 3722 阅读 · 0 评论 -
CentOS7安装ELK
CentOs 7下ELK日志分析系统搭建准备工作为了安装时不出错,建议选择一样的版本,本文全部选择6.2.2版本。系统:CentOS7 JAVA环境:8以上,[教程](https://blog.csdn.net/qq_34646817/article/details/81177145)首先讲一下elk吧,elk是指ElasticSearch,Logstash,Kibana。El...原创 2018-07-16 17:29:00 · 3315 阅读 · 0 评论 -
Elastic 之 Filebeat安装使用
Filebeat的简介这里就不写了,直接上干货一、下载安装万年第一步,下载解压安装~这里用的还是6.2.2版本[root@hadoop01 elk]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.2-linux-x86_64.tar.gz--2018-07-17 22:23:24...原创 2018-07-17 16:06:00 · 1632 阅读 · 0 评论 -
Elasticsearch 聚合分析详解
说明聚合分析:英文为Aggregation,是es除搜索功能外提供的针对es数据做统计分析的功能。功能丰富:提供Bucket、Metric、Pipeline等多种分析方式,可以满足大部分的分析需求实时性高:所有的计算结果都是即时返回的,而hadoop等大数据系统一般都是T+1级别的。为了便于理解,es将聚合分析主要分为如下4类:Bucket:分桶类型,类似SQL中的GR...原创 2018-09-10 20:05:08 · 4103 阅读 · 0 评论