![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ELK
文章平均质量分 79
七路灯
从事互联网开发,信奉终身成长的技术人,分享知识和记录成长
展开
-
Elasticsearch cannot downgrade a node from version [7.x.x] to version [7.x.x]
目录背景和问题分析1. 最简单方案2. 复制数据仓库cannot downgrade a node from version [7.x.x] to version [7.x.x]Elasticsearch降级实践背景和问题分析首先官方是不支持降级的,想要降级必须从快照中恢复,这是最保险的,前提也比较多,成本较高。但是你做了很小的版本升级,过后又非常想回退到原来的版本,怎么办呢?注意:我的Elasticsearch是单机模式,集群模式自行研究吧。以我的操作环境为例:从7.13.4回退到7.11.原创 2021-09-27 17:03:52 · 1305 阅读 · 1 评论 -
ELK-合集
通过最近对ELK全家桶的学习和应用实践,总结成系列文章。如有疑问,欢迎私信,共同学习,一起成长。安利一下《Elastic Stack 实战手册》早鸟版首发,这是我最近才关注到的,写的很好https://developer.aliyun.com/topic/elasticstack/playbook文章合集ELK-实践(架构选择&部署说明)ELK-实践(业务框架&业务配置)ELK-加密通信的说明和配置教程Elasticsearch-介绍Elasticsearch-索引(Ind原创 2021-07-01 09:53:05 · 91 阅读 · 0 评论 -
ElastAlert-实践
目录基于Elastalert的二次开发规则配置建议支持钉钉报警报警实践转换为本地时区基于Elastalert的二次开发https://github.com/lights8080/elastalert forked from Yelp/elastalert修改内容大致如下:修改报警及日志的日期格式为%Y-%m-%d %H:%M:%S %Z集成钉钉报警(支持At、secret认证),参考example_rules/example_frequency_lights8080.yamlPercentag原创 2021-06-29 17:43:25 · 340 阅读 · 1 评论 -
ElastAlert-核心逻辑流程及源码解析
目录1、核心主流程及源码解析2、run_every、buffer_time、timeframe之间的关系3、num_hits、num_matches说明1、核心主流程及源码解析核心主流程:初始化ElastAlerter对象,并调用start():加载规则、并启动jobjob调用规则处理(handle_rule_execution):计算结束时间,run_rule,设置job下次执行时间run_rule:计算查询开始和结束时间,run_query,send_alert,回写索引run_query原创 2021-06-29 17:42:46 · 239 阅读 · 0 评论 -
ElastAlert-配置
目录全局配置(Configuration)规则配置(Rule Configuration)参考全局配置(Configuration)# Elasticsearch集群配置es_host:es_port:use_ssl:verify_certs:es_username:es_password:es_url_prefix:es_conn_timeout:# 设置检索rules和hashes的加载类rules_loader: 'FileRulesLoader'# 规则配置文件的文件夹的名原创 2021-06-28 11:05:07 · 473 阅读 · 0 评论 -
ElastAlert-介绍
目录一、Alerting With Elasticsearch特性可用性(Reliability)模块性(Modularity)二、Running ElastAlert安装命令测试规则(Testing Rule)运行(Running ElastAlert)三、Rule Types and Configuration OptionsRule TypesAlerts四、ElastAlert Metadata Indexelastalert_statuselastalertelastalert_errorsile原创 2021-06-28 11:04:02 · 763 阅读 · 0 评论 -
ElastAlert-发送报警错误[AttributeError: ‘_thread._local‘ object has no attribute ‘alerts_sent‘]
目录报错说明解决步骤参考报错说明官网安装ElastAlert,发送报警,报错如下:ERROR:root:Traceback (most recent call last):File "/opt/pyenv/versions/elastalert_360/lib/python3.6/site-packages/elastalert-0.2.1-py3.6.egg/elastalert/elastalert.py", line 1451, in alertreturn self.send_alert(原创 2021-05-14 19:34:45 · 344 阅读 · 0 评论 -
ELK-架构&部署&实践总结
介绍业务规模和架构选择,以及部署说明和实践配置。基于7.11版本。目录业务规模架构选择部署说明&实践配置新建用户和修改文件夹权限修改系统配置ElasticsearchKibanaLogstashFilebeat业务规模业务每天查询量在千万级,采集数据的规模上亿(后续会更大)。单台Logstash,数据延迟并不大,肉眼可见的Logstash的数据处理能力架构选择ELK架构有很多种,这里简单列出常用的几个:架构1(最为简单)Logstash -> Elasticsearch.原创 2021-05-10 17:28:20 · 302 阅读 · 10 评论 -
ELK-加密通信的说明和配置教程
介绍Elasticsearch节点之间的加密通信、浏览器与Kibana之间的加密通信、Kibana与Elasticsearch之间的加密通信、操作步骤和配置说明。基于7.11。目录1 Elasticsearch加密通信1.1 Elasticsearch节点之间的加密通信1.2 HTTP客户端的加密通信2 Kibana通信加密2.1 浏览器与Kibana之间的加密通信2.2 Kibana与Elasticsearch之间的加密通信3 操作步骤4 参数配置1 Elasticsearch加密通信Elas.原创 2021-05-08 18:32:17 · 600 阅读 · 9 评论 -
Kibana-介绍
Kibana是一个开源分析和可视化平台,旨在与Elasticsearch协同工作。您使用Kibana搜索,查看和与存储在Elasticsearch索引中的数据进行交互。您可以轻松执行高级数据分析,并在各种图表,表格和地图中可视化您的数据。https://www.elastic.co/guide/en/kibana/7.11/index.html目录侧边栏Dashboard(仪表板)面板类型Alerts and Actions(监控警报)Graph(图形分析)Kibana通信加密加密浏览器与Kiban.原创 2021-04-30 16:48:36 · 438 阅读 · 2 评论 -
Beats-Filebeat命令&配置说明
介绍Filebeat命令、配置以及最佳实战。基于7.11版本。目录命令配置说明 filebeat.yml最佳实践调优命令export:导出配置到标准输出(configuration, index template, ILM policy, dashboard)keystore:管理秘钥仓库modules:管理模块配置run:运行Filebeat。不知道命令的情况下,默认使用此命令–modules MODULE_LIST:指定运行的模块setup:一次性初始化环境。包括索引模板,.原创 2021-04-29 13:24:10 · 1104 阅读 · 1 评论 -
Beats-Filebeat介绍
Filebeat介绍,包括工作方式、模块、如何避免数据重复、处理器的速查表。基于7.11版本。Beats是一款轻量级数据采集器,你可以将它作为代理程序安装在你的服务器上,然后将操作数据发送到 Elasticsearch。可以直接发送数据到 Elasticsearch 或者通过 Logstash,在那里你可以进一步处理和增强数据。Filebeat(日志文件)Metricbeat(指标)Heartbeat(可用性监控)Functionbeat(函数计算采集器)FilebeatFile.原创 2021-04-28 09:35:29 · 576 阅读 · 1 评论 -
Elasticsearch-文本分析(Text Analysis)
文本分析使Elasticsearch能够执行全文搜索,其中搜索返回所有相关结果,而不仅仅是精确匹配。文本通过标记化(tokenization)使全文搜索成为可能,将文本分解为标记的更小块。在大多数情况下,这些标记是单个单词。目录概念内置解析器概念分析器(无论是内置的还是自定义的)只是一个包,其中包含三个较低级别的构建块:字符过滤器(character filters),标记生成器(tokenizers)和标记过滤器(token filters)。索引和搜索分析器:文本分析发生在两次时间,索引时原创 2021-04-27 10:33:33 · 542 阅读 · 2 评论 -
Elasticsearch-安全特性(Security)
Elasticsearch安全特性,介绍加密通讯的基本原理、开启安全特性的操作步骤、如何生成节点证书、用户认证和相关概念等。基于7.11版本。目录安全特性1 加密通讯1.1 加密集群中节点之间的通信1.2 加密HTTP客户端通信1.3 生成节点证书2 用户认证3 相关概念4 参考文档安全特性Elastic Stack安全功能使您可以轻松保护集群。Elasticsearch集群保护方式:通过密码保护,基于角色的访问控制和IP过滤防止未经授权的访问。使用SSL/TLS加密保留数据的完整性。.原创 2021-04-26 11:55:35 · 1405 阅读 · 1 评论 -
Elasticsearch-聚合(Aggregations)
Elasticsearch聚合速查表,介绍指标聚合、桶分聚合、管道聚合的分类和聚合示例。基于7.11版本。目录聚合分类BucketMetricPipeline示例聚合将数据汇总为指标, 统计, 或其他分析。聚合分类Metric:指标聚合,从文档字段值中计算指标,如总和、平均值等Bucket:桶分聚合,根据字段值、范围或其他条件将文档分组为桶Pipeline:管道聚合,从其他的聚合结果作为输入BucketAdjacency matrix:邻接矩阵,获取矩阵每个组的计数Auto-i.原创 2021-04-26 10:06:51 · 528 阅读 · 0 评论 -
Elasticsearch-搜索(Search DSL)
Elasticsearch介绍查询搜索请求包含哪些选项,并介绍其中的Query DSL。包括语法说明、查询和过滤上下文、复合查询等和查询示例。基于7.11版本。搜索请求是对Elasticsearch数据流或索引中的数据信息的请求,包括以下自定义选项:Query DSL(查询语法)Aggregations(分组聚合)Search multiple data streams and indices(多数据流和索引搜索)Paginate search results(分页查询)Retrieve.原创 2021-04-25 17:17:17 · 359 阅读 · 0 评论 -
Elasticsearch-索引(Index)
Elasticsearch索引介绍,包括索引设置、索引模板、索引生命周期管理、翻滚索引。基于7.11版本。目录索引设置(Index Settings)staticdynamic索引模板(Index Templates)索引生命周期管理(Index Lifecycle Manager - ILM)索引生命周期(Index lifecycle)阶段转换(phase transitions)阶段执行(phase execution)阶段动作(phase actions)索引生命周期动作(Index Lif.原创 2021-04-07 18:53:02 · 685 阅读 · 0 评论 -
Elasticsearch-映射(Mapping)
目录动态映射(Dynamic mapping)显式映射(Explicit mapping)字段数据类型(Field data types)映射参数(Mapping parameters)映射限制设置(mapping limit settings)映射(Mapping)是定义文档及其包含的字段如何存储和索引的过程。每个文档都是字段的集合,每个字段都有自己的数据类型。为数据创建一个映射定义,包含与文档相关的字段列表。索引中定义太多字段会导致映射爆炸,从而导致内存不足错误和难以恢复的情况。在动态映射中,如果原创 2021-04-06 18:18:07 · 538 阅读 · 0 评论 -
Elasticsearch-介绍
Elasticsearch是一个分布式搜索和分析引擎,为所有类型的数据提供了近实时的搜索和分析。不仅可以进行简单的数据探索,还可以汇总信息来发现数据中的趋势和模式。随着数据和查询量的增长,分布式特性可以使部署顺畅的无缝的增长。目录1. 文档和索引文档(Document)索引(Index)倒排索引(inverted index)2. 搜索和分析搜索(Search)分析(Analyze)3. 可伸缩和弹性集群(Cluster)节点(Node)分片(Shard)跨集群复制(Cross-cluster repli原创 2021-04-02 13:35:43 · 122 阅读 · 1 评论 -
Logstash-配置
Logstash配置介绍、插件说明、配置说明、高级配置、命令说明基于7.11版本。https目录一、配置Logstash1. 在配置中访问事件数据和字段引用事件数据和字段sprintf格式化条件@metadata字段二、插件说明Input pluginsFilter pluginsOutput plugins三、配置说明logstash.yml四、高级配置1. 多管道配置(multiple pipelines configuration)2. 管道到管道的通信(pipeline-to-pipeline原创 2021-03-24 16:57:24 · 545 阅读 · 0 评论 -
Logstash-介绍
目录介绍如何工作inputs(输入阶段)filters(过滤器阶段)outputs(输出阶段)Codecs(解码器)1. 工作原理2. 事件顺序Logstash 模块弹性数据持久队列工作原理页检查点死信队列工作原理![在这里插入图片描述](https://img-blog.csdnimg.cn/img_convert/cc5f187cacda38800a85c581dc959741.png#pic_center)部署和扩展Beats to ElasticsearchBeats and Logstash to原创 2021-03-24 16:46:33 · 450 阅读 · 0 评论