Elastic
文章平均质量分 95
Elastic文章分享
cr7258
这个作者很懒,什么都没留下…
展开
-
使用 Ingest Pipeline 在 Elasticsearch 中对数据进行预处理
Ingest pipeline 是 Elasticsearch 的一个非常实用的功能,它能够帮助用户在数据进入 Elasticsearch 索引之前对其进行预处理,从而提高搜索和分析的效率和准确性。原创 2023-02-16 13:31:02 · 1041 阅读 · 0 评论 -
使用 ECK 在 Kubernetes 集群中管理 Elastic Stack
使用 ECK 在 Kubernetes 集群中管理 Elastic Stack原创 2022-08-30 21:31:47 · 2261 阅读 · 3 评论 -
ECA 认证备考指南
ECA 简介ECA(Elastic Certified Analyst,Elastic 认证分析师)是 Elastic 针对 Kibana 进行数据可视化和分析而设计的一门考试。考试费用 300 美金,考试时长 2 小时,2022 年 4 月 28 号之后升级为 7.15 版本,我这次考的是 7.6 版本。考试大纲及常见问题考试大纲:Elastic Certified Analyst Exam [1],其中标注了 7.6 和 7.15 两个版本考点的变化。在 ECA 考试中主要考察 3 个部分:原创 2022-04-28 22:29:52 · 965 阅读 · 0 评论 -
Elasticsearch 多种跨机房灾备方案对比与实战解读
本文将会介绍几种 Elasticsearch 常见的灾备方案,同时提供了 Demo 案例方便大家动手体验。方案定期快照跨机房部署集群应用双写借助消息队列实现双写CCR 跨集群复制极限网关描述定期将索引备份到外部存储,例如 S3,HDFS。备份的数据可以在备集原创 2022-01-04 22:03:59 · 2554 阅读 · 0 评论 -
使用 Ansible 部署 Elasticsearch 集群
Elasticsearch 是一款开源的分布式搜索和分析引擎,我们可以在其中存储海量的数据并且快速地进行搜索,然而部署 Elasticsearch 集群的过程耗时且繁琐,好在 Elasticsearch 官方为我们提供了 Ansible Playbook 方便我们快速部署 Elasticsearch 集群。ansible-elasticsearch github 地址:https://github.com/elastic/ansible-elasticsearch。 本文将演示使用 Ansible 搭建一套原创 2021-10-08 22:08:57 · 1210 阅读 · 0 评论 -
Elasticsearch 源码学习(1) 源码编译调试
克隆 Elasticsearch 项目首先 fork 一份 Elasticsearch 项目 的代码到自己的 github 仓库,这样看代码的时候写注释可以提交到自己的仓库。然后将代码克隆到本地。git clone https://github.com/cr7258/elasticsearch切换到指定发布版本,这里我们基于 7.14.1 版本进行学习。git checkout v7.14.1版本要求我们编译的是 Elasticsearch 7.14.1 版本,在源码根目录下的 CON原创 2021-09-21 19:28:26 · 910 阅读 · 1 评论 -
Elasticsearch 日志监控方案
现在大部分公司都会选择将应用、中间件、系统等日志存储在 Elasticsearch 中,如何发现日志中的异常数据并且及时告警通知就显得十分重要。本文将会介绍两种主流的日志监控方案,分别是 Yelp 公司开源的 ElastAlert 和 Elastic 官方的商业版功能 Watcher。如下图所示,日志数据源是一台 Nginx 服务器,在该服务器上安装 Filebeat 收集 Nginx 日志并输出到 Elasticsearch,之后会分别演示用 ElastAlert 和 Watcher 两种方案监控日志并原创 2021-08-16 22:18:10 · 3360 阅读 · 4 评论 -
Elasticsearch enrich processor
enrich processor 简介ingest pipeline 可以在传入的文档被索引之前,对文档进行预处理,通过 processor 中定义的一系列规则来修改文档的内容(例如大小写转换等)。在 Elasticsearch 7.5 版本引入了 enrich processor,可以将现有索引(source index)中的数据添加到传入的文档(incoming document)中。比如,你可以在如下的场景中用到:根据已知的 IP 地址识别 Web 服务或供应商。根据产品 ID 将产品原创 2021-03-20 00:38:06 · 413 阅读 · 0 评论 -
Elasticsearch 跨集群数据迁移方案总结
方案对比方案elasticsearch-dumpreindexsnapshotlogstash基本原理逻辑备份,类似mysqldump将数据一条一条导出后再执行导入reindex 是 Elasticsearch 提供的一个 API 接口,可以把数据从一个集群迁移到另外一个集群从源集群通过Snapshot API 创建数据快照,然后在目标集群中进行恢复从一个集群中读取数据然后写入到另一个集群网络要求集群间互导需要网络互通,先导出文件再通过文件导入集群则不需要网络互通原创 2021-03-18 00:20:30 · 2015 阅读 · 0 评论 -
Elasticsearch写入原理(1)--数据底层
名词解释Document(文档): 文档是存储在elasticsearch中的一个JSON文件,相当于关系数据库中表的一行数据。Shard(分片):索引数据可以拆分为较小的分片,每个分片放到不同的服务器上,提高并发能力。 Lucene 中的 Lucene index 相当于 ES 的一个 shard。Segments(段): 分片由多个segments组成,每个segments都是一个独立的倒排索引,且具有不变性,segment 提供了搜索功能。Transaction Log(translog原创 2021-03-06 00:47:27 · 462 阅读 · 0 评论 -
Elasticsearch集群规划最佳实践
Elasticsearch集群规划最佳实践角色规划一个节点在默认情况会下同时扮演:master eligible,data node 和 ingest node。在生产环境中建议每个节点只承担一个角色:Dedicated master eligible nodes:负责分片管理,索引创建,集群管理等操作,使用低配置的 CPU,RAM 和磁盘。Dedicated data nodes:负责数据存储及处理客户端请求,使用高配置的 CPU, RAM 和磁盘。Dedicated inges原创 2021-03-02 17:36:51 · 804 阅读 · 2 评论