ELK
文章平均质量分 63
ff&yy
这个作者很懒,什么都没留下…
展开
-
ElasticSearch设置日志保存时间-自动删除
ElasticSearch提供索引生命周期管理(6.6版本开始),参考地址:https://www.elastic.co/guide/en/elasticsearch/reference/6.6/_setting_up_a_new_policy.html以auditbeat审计日志的管理为例来介绍elasticsearch的生命周期管理策略:ElasticSearch索引生命周期管理实际场景中我们一般为索引创建一个模板,以auditbeat-7.9.2为例:GET _template/a原创 2020-11-17 22:13:47 · 10034 阅读 · 0 评论 -
Auditbeat日志审计方案
架构整个架构分采集器和存储、查询三个部分。【采集器】采集器使用Auditbeat进行审计日志采集。【存储】采集后的日志直接输出到ElasticSearch,考虑到我们的日志较少切Auditbeat具备重传功能,因此,第一个版本先使用单节点的ElasticSearch进行试运行,实际运行过程中做好ElasticSearch的监控,遇到ElasticSearch故障时可以及时启动。【查询】查询使用Kibana,与ElasticSearch对接,进行日志分析和监控。【配置管理】原创 2020-11-04 16:51:07 · 2016 阅读 · 0 评论 -
Auditbeat让审计规则动态生效
【Auditbeat让审计规则动态生效】1、修改auditbeat.yml,配置动态加载,添加如下配置:auditbeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: truereload.period: 10s说明:path:制定动态的目录,当目录下的文件发生变化时,auditbeat会监听到变化,重新加载配置让新规则生效。reload.enabled:配置是否启动动态加载...原创 2020-11-04 16:50:09 · 768 阅读 · 0 评论 -
ElasticSearch倒排索引-构建千亿级日志分析系统
1.什么是倒排索引Elasticsearch 使用一种称为 倒排索引 的结构,它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,有一个包含它的文档列表。正排索引:通过文档查找KEY,优点:易维护,每新增一个doc只需要把每个key在该doc中出现的次数和位置进行维护即可;缺点:搜索耗时太长倒排索引:通过KEY来查找doc,用户在搜索引擎搜索框输入查询词...原创 2020-04-22 21:54:49 · 330 阅读 · 0 评论 -
ElasticSearch集群的动态伸缩-构建千亿级日志分析系统
在介绍索引的优化和集群的动态伸缩前,我们需要先了解文档是如何分布到集群的,又是如何从集群获取的。1、文档是如何分布到集群的,又是如何从集群获取的当索引一个文档的时候,文档会被存储到一个主分片中。 Elasticsearch 如何知道一个文档应该存放到哪个分片中呢?当我们创建文档时,它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢?首先这肯定不会是随机的,否则将来要获取文档的时...原创 2020-04-21 19:44:21 · 339 阅读 · 0 评论 -
ElasticSearch离线分析-构建千亿级日志分析系统
1、背景介绍上篇讲到实时日志的采集和分析,本篇介绍离线日志的分析,为何要做离线日志分析?业务场景的不同,系统的规模扩大后,日志量随着上升,上升到需要付出昂贵的成本才能满足分析,动辄每天几TB的日志,给索引和查询都带来很大的压力,为尽量满足查询分析的诉求又合理控制成本,我们需要设计一套离线日志采集与分析系统,主要满足如下业务场景:1)回溯半个月前的问题,遇到长假系统会在线上运行一周无人分...原创 2020-04-20 20:49:19 · 705 阅读 · 0 评论 -
ElasticSearch跨集群查询-构建千亿级日志分析系统
ElasticSearch集群可以处理上PB的数据,集群规模可以成百上千,但要驾驭这么大规模的集群前我们需要对ElasticSearch足够了解,即便使用目前流行的云服务我们也要对ElasticSearch有一定的研究,才能更好的满足我们的业务。本篇主要讲跨集群查询。1、跨集群查询跨集群查询允许你的请求查询多个集群的数据,这个特性帮助我们更好的设计我们的架构。分布式系统或微服务里将系统...原创 2020-04-20 19:56:01 · 823 阅读 · 0 评论 -
ElasticSearch构建千亿级日志分析系统-实时分析
摘要:分布式系统是目前很常见的解决方案,随之而来的是分析定位问题复杂度变高,本篇文章主要探讨如何构建一个日志采集与分析系统。原创 2020-04-16 21:22:57 · 883 阅读 · 0 评论 -
ELK(九)ElasticSearch5.XELK(七)ElasticSearch搜索
ES5.X优化1、设置索引的最大字段数curl -u elastic -XPUT localhost:9200/_cluster/_settings -d '{ "index.mapping.total_fields.limit": 2000 }' 2、5.X刷盘index.refresh_interval: 30scurl -u原创 2017-08-16 15:12:35 · 321 阅读 · 0 评论 -
ELK(八)ElasticSearch2.X版本优化
ES2.X版本1、提高写入速度更新刷磁盘间隔,提高写入效率curl -XPUT http://localhost:9200/syslog-2016.07.22/_settings -d '{"index" : {"refresh_interval" : "5s"} }'获取setting信息curl -XGET http://localhost:9200/syslog-2016原创 2017-08-16 15:11:27 · 345 阅读 · 0 评论 -
ELK(七)ElasticSearch搜索
1、DSL语句查询ElasticSearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。DSL(Domain Specific Language)特定领域语言)以JSON请求体的形式出现。(以下搜索语句总index表示你的index名称,type表示你的type名称)例如要查找名字为“Jack”的文档:GET /index/typ原创 2016-03-05 17:50:31 · 930 阅读 · 0 评论 -
ELK(六)ElasticSearch索引
1、ElasticSearch中存储文档的过错称之为索引,ElasticSearch中文档归属于一种类型(type),而这些类型存在于索引(index)当中,对比关系型数据如下:Relational DB -> Databases -> Tables -> Rows -> ColumnsElasticsearch -> Indices -> Types -> Documents ->原创 2016-03-05 17:32:34 · 3978 阅读 · 1 评论 -
ELK(四)ElasticSearch Java API
package com.ucloudlink.oss.elasticsearch;import java.io.Serializable;import java.net.InetSocketAddress;import java.util.ArrayList;import java.util.List;import java.util.Map;import java.util.concurrent原创 2016-03-05 15:16:33 · 2854 阅读 · 3 评论 -
ELK(一)ElasticSearch集群环境安装
1、下载elasticsearch-2.2.0.tar.gz。下载地址:https://www.elastic.co/downloads/elasticsearch2、解压到/usr/local/elasticsearch。3、修改ElasticSearch配置进入ElasticSearch安装目录,进入config目录,打开elasticsearch.yml文件,修改如下配置原创 2016-03-05 14:45:14 · 513 阅读 · 0 评论 -
ELK(三)安装Kibana
1、下载Kibana,下载地址:https://www.elastic.co/downloads/kibana。下载 LINUX 64-BIT版本(根据操作系统版本下载)。2、解压到/usr/local/kibana。3、进入Kibana安装目录,进入config目录,打开kibana.yml文件,修改如下配置属性修改为说明原创 2016-03-05 15:06:55 · 360 阅读 · 0 评论 -
ELK(二)安装logstash
1、解压到/usr/local/logstash2、测试logstashbin/logstash -e 'input { stdin { } } output { stdout {} }'3、配置logstash,创建performancelog.conf文件input { file { path => "/home/yiyi/perflogs/*.lo原创 2016-03-05 15:03:10 · 312 阅读 · 0 评论