- 博客(14)
- 资源 (9)
- 收藏
- 关注
原创 Observability:应用程序性能监控/管理(APM)实践
在今天的文章里,我们将介绍Elastic的一个重要的应用:应用程序性能管理(Application Performance Monitoring/Management),简称APM。那么到底什么是APM呢?随着时代的发展,我们的IT架构越来越复杂,比如:我们系统的服务器越来越多,而且更多的设备都部署在云端。复杂的系统甚至有成千个微服务及架构所组成,那么我们的业务请求可能需要一个或更多的...
2019-10-31 22:04:51 7714 10
转载 Logstash:如何将数据采集到 Elasticsearch 服务
对于数据搜索和分析来说,Elasticsearch 无处不在。开发人员和社区可利用 Elasticsearch 寻找寻找各种各样的用例,从应用程序搜索和网站搜索,到日志、基础架构监测、APM和安全分析,不一而足。虽然现在有针对这些用例的免费解决方案,但是开发人员首先需要将其数据提供给 Elasticsearch。本文将描述几种最常见的将数据采集到 Elasticsearch 服务的方法。这...
2019-10-30 10:02:58 1244
原创 Elasticsearch:用户安全设置
Elastic Stack的组件是不安全的,因为它没有内置的固有安全性。 这意味着任何人都可以访问它。 在生产环境中运行Elastic Stack时,这会带来安全风险。 为了防止生产中未经授权的访问,采用了不同的机制来施加安全性,例如在防火墙后运行Elastic Stack并通过反向代理(例如nginx,HAProxy等)进行保护。 Elastic提供商业产品来保护Elastic Stack。 此...
2019-10-29 21:59:14 8531 6
原创 Elasticsearch:significant terms aggregation
在本文中,我们将重点关注significant terms和significant text聚合。这些聚合旨在搜索数据集中有趣和/或不寻常的术语,这些术语可以告诉您有关数据的隐藏属性的更多信息。此功能对于以下用例特别有用:为用户查询标识包含同义词,首字母缩略词等的相关文档。例如,当用户搜索H1N1时,重要术语聚合可能会建议带有“bird flu”的文档。 识别数据中的异常和有趣的事件。例如,...
2019-10-29 15:03:09 2226 2
原创 Elastic:机器学习的原理及实践 - single metric job
在Elasticsearch中,可以将机器学习视为搜索和分析的自然扩展。它是对时间序列数据的分析。 Elasticsearch支持的机器学习功能可以通过运行metric任务来自动分析时间序列数据,该metric任务包含一个或多个定义了将要分析的字段的检测器。 它可以帮助我们识别单变量时间序列数据中的异常,并向我们显示正常情况。在Elasticsearch中,我们可以通过机器学习来检测时间系列中的异...
2019-10-29 11:44:51 6678 1
原创 Elasticsearch:IK 中文分词器
Elasticsearch内置的分词器对中文不友好,只会一个字一个字的分,无法形成词语,比如:POST /_analyze{ "text": "我爱北京天安门", "analyzer": "standard"}如果我们使用的是standard的分词器,那么结果就是:{ "tokens" : [ { "token" : "我", "st.........
2019-10-28 09:21:09 6834 8
原创 Elasticsearch:Index 生命周期管理入门
如果您要处理时间序列数据,则不想将所有内容连续转储到单个索引中。 取而代之的是,您可以定期将数据滚动到新索引,以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低,您可能会将其转移到价格较低的硬件上,并减少分片和副本的数量。要在索引的生命周期内自动移动索引,可以创建策略来定义随着索引的老化对索引执行的操作。 索引生命周期策略在与Beats数据发件人一起使用时特别有用,Beats数据发......
2019-10-24 21:35:39 12492 29
原创 Elasticsearch: rollover API
rollover使您可以根据索引大小,文档数或使用期限自动过渡到新索引。 当rollover触发后,将创建新索引,写别名(write alias)将更新为指向新索引,所有后续更新都将写入新索引。对于基于时间的rollover来说,基于大小,文档数或使用期限过渡至新索引是比较适合的。 在任意时间rollover通常会导致许多小的索引,这可能会对性能和资源使用产生负面影响。Rollover历史......
2019-10-21 21:55:59 6620 16
原创 Elasticsearch:inverted index,doc_values 及 source
当我们学习Elasticsearch时,经常会遇到如下的几个概念:Reverted index, doc_values,source?这个几个概念分别指的是什么?有什么用处?如何配置它们?只有我们熟练地掌握了这些概念,我们才可以正确地使用它们。Inverted indexinverted index(倒排索引)是Elasticsearch和任何其他支持全文搜索的系统的核心......
2019-10-19 22:03:51 8377 13
原创 Elastic:如何在一个机器上同时模拟多个节点
在我之前的文章“Elastic:用Docker部署Elastic栈”中,我介绍了如何使用Docker部署的方法在一个电脑中启动多个Docker来实现多个node的部署。在今天的文章中,我将用另外一种方法来模拟多个node的部署。在这种情况下,我们不使用docker。不过过千万要记住:尽管此配置对于开发目的是一个很好的选择,但不应在生产中使用此配置,尤其是在资源有限的情况下(例如,只有一台机器用于开...
2019-10-15 13:34:57 3156 12
原创 Logstash:运用 jdbc_streaming 来丰富我们的数据
在IoT物联网时代,我们经常会遇到从传感器采集数据的情况。这些传感器,可以上传物联网数据,比如温度,湿度。通常这些传感器带有自己的ID,但是它并不具有像地理位置等这样的信息。当物联网数据传到我们的数据平台时,我们希望对采集上来的数据进行数据的丰富,比如我们对物联网的数据加上它所在的位置等信息,这将对我们的数据分析非常有用。这些需要丰富的数据通常会存放于一个关系数据库的表格中,比如MySQL的数据库...
2019-10-10 12:40:22 2929 2
原创 Elastic:Elastic 部署架构介绍
Elastic Stack是一套完整的从数据采集,解析,分析,丰富,到搜索,检索,数据程序等一套完整的软件栈。在具体的实践中,我们应该如何搭建我们的系统呢?下图描述了常用的Elastic Stack的部署架构:该图描述了三种可能的体系结构:将操作指标直接发送到Elasticsearch:如上图所示,你将在要从其发送操作指标/日志的边缘服务器上安装各种类型的Beats,例如Metri...
2019-10-07 14:24:10 1426 2
原创 Elasticsearch:Smart Chinese Analysis plugin
Smart Chinese Analysis插件将Lucene的Smart Chinese分析模块集成到Elasticsearch中,用于分析中文或中英文混合文本。 支持的分析器在大型训练语料库上使用基于隐马尔可夫(Markov)模型的概率知识来查找简体中文文本的最佳分词。 它使用的策略是首先将输入文本分解为句子,然后对句子进行切分以获得单词。 该插件提供了一个称为smartcn分析器的分析器,以...
2019-10-06 16:57:30 2210 1
原创 Elasticsearch:ICU 分词器介绍
ICU Analysis插件是一组将Lucene ICU模块集成到Elasticsearch中的库。 本质上,ICU的目的是增加对Unicode和全球化的支持,以提供对亚洲语言更好的文本分割分析。 从Elasticsearch的角度来看,此插件提供了文本分析中的新组件,如下表所示:安装我们可以首先到Elasticsearch的安装目录打入如下的命令:$ pwd...
2019-10-04 23:45:56 3791 2
02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918
2024-09-18
01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918
2024-09-18
04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825
2024-08-25
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825
2024-08-25
04-十倍性价比蜕变:腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727
2024-07-27
03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727
2024-07-27
02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727
2024-07-27
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727
2024-07-27
02-B站Elasticsearch平台实践 王星轶 线上 20240619
2024-06-20
01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619
2024-06-20
04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25
2024-05-28
03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25
2024-05-28
02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25
2024-05-28
01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25
2024-05-28
04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27
2024-04-29
03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27
2024-04-29
02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台
2024-04-29
01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27
2024-04-29
04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
2024-04-01
03-AI Assistant - 李捷 武汉 2024.03.30
2024-04-01
02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
2024-04-01
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
2024-04-01
04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
2024-01-08
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
2024-01-08
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
2024-01-08
01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024
2024-01-08
02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
2023-12-22
01-微盟 Elasticsearch 运维实践
2023-12-22
03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
2023-12-03
01-Elasticsearch Relevance Engine - meetup 11.16 2023
2023-11-17
02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
2023-11-17
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
2023-10-23
03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023
2023-10-23
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
2023-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人