- 博客(26)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Kibana：如何在可视化图中使用2个及以上的索引模式
在我们正常的可视化图中，我们没有办法使用两个及以上的索引来进行数据的展示，比如，当我们选择 Vertical Bar 可视化时：在上面，它一定要让我们拉选择一个特定的 Index Pattern，也就是说它只能在一个 Index Pattern 上进行工作。在实际的使用中，我们有很多的情况想针对多个索引或 Index Pattern 来进行工作，并把它们的数据展示在一个表格上，这样更容易进行异常排查。比如，我们发现业务量很大的，而且发生很多错误的时候，我们这个时候很想把 metric 的数.
2020-07-31 18:02:26
3630
1
翻译 Logstash： Persistent Queue
Persistent Queue 为Logstash管道增加了基于磁盘的弹性。 在 Logstash 5.4中，它已正式升级为通用可用性，以替代内存队列的生产就绪型替代方案。 本博客文章旨在说明其性能和风险特征与默认的内存队列之间的区别。 文档中提供了有关 PQ 的其他信息。设计PQ 是什么？PQ，也即永久队列。默认情况下，Logstash 在输入和 filter + output 管道阶段之间使用内存中排队。 这使它可以吸收负载中的小峰值，而无需保持将事件推入 Logstash 的连接，.
2020-07-30 19:09:08
2222
翻译 Elasticsearch：在 Elasticsearch 中使用语言识别进行多语言搜索
我们很高兴地宣布，随着机器学习推理摄入处理器 （inference ingest processor）的发布，我们还将在 Elasticsearch 7.6 中发布语言识别。 在此发行版中，我们希望借此机会描述在多语言语料库中进行搜索的一些用例和策略，以及语言识别的作用。 过去我们讨论了其中一些主题，并将在以下一些示例的基础上继续进行讨论。动机在当今高度互连的世界中，我们发现文档和其他信息源以多种语言提供。这给许多搜索应用程序带来了问题。我们需要尽可能地了解这些文档的语言，以便我们对其进行适当.
2020-07-29 18:01:20
3514
2
原创 Kibana：通过气泡图把两个指标合并成为一个可视化图
在很多的情况下，在我们的可视化图中，我们可以同时显示两个以上的指标，比如：在上面的可视化中，我们展示了如下的两个指标：在每个 date histogram bucket 中的文档数量 在每个 date histogram bucket 中下载的文档字节总和在上面我使用了两个不同的 Y 轴来表示这个统计的结果。现在的问题是，我们有没有办法把这上面的两个指标合并为一个呢？特别是在有些情况下，我们可能有更多的指标显示，那么我们的 Y 轴也只有两个（左边和右边），那么我们的显示将会非常难看。答案..
2020-07-29 12:15:13
2129
原创 Kibana：为 Elastic Maps 添加定制矢量地图层
在我之前的文章 “Kibana：在Kibana中定制Regional Map”，我写了一篇关于如何上传一个矢量地图的例子。在那里，我在 Kibana 的配置中做了一些修改，并使用一个本地的服务器来配合使用。在今天的例子中，我将使用另外一种方法来实现。在这里我使用 Elastic 最新发布的 7.8 版本来做练习。在 Elastic 的 Maps 里没有 continent 这样的矢量图层。 在今天的实验中，我们将介绍如何导入 continent 这样的矢量图，并用它来分析我们的数据。准备工作.
2020-07-28 16:09:51
2707
原创 Kibana：运用 agggregation 的高级设置来微调统计结果
在今天的文章中，我们将用一个例子来展示如何微调Elasticsearch 中的 aggregation。针对有一些特殊的情况，我们需要对 aggregation 做更为精确的定制。另外，我们有将展示如何在 Kibana 的可视化中进行调整以得到我们想要的效果。当我第一次用 Kibana 的时候，我看到如下的界面：如上图所示，当我们在做可视化时，有一个高级地定制框。你是否从来没有用过，而一直采用默认的配置？比如我们在使用 Date Histogram 时，你的老板可能希望你能从每天的周日开始进行统计.
2020-07-27 11:49:54
2104
2
原创 Elastic 武汉 Meetup- 11月13日 13:30
从零开始安装 Elastic Stack，使用 Logstash 导入日志文件到 Elasticsearch。Logstash是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助您解析，丰富，转换和缓冲来自各种来源的数据里面。本次分享含有调试及如何使用 Logstash 的 inputs, filters，outputs 及如何启动监控及集中管理。详细链接请参阅https://www.bagevent.com/event/6696688...
2020-07-25 09:00:03
6458
5
原创 Kibana: 使用 TSVB 中的 Math aggregation 来提高数据的可观测性
在之前的教程 “Kibana：使用 Script fields 来提高数据的可观测性”，我们通过一种 Scripted field 的方法来提高我们数据的可观测性。我们把一个数据可以把它展示在 Y 的负轴上。这样更好地提高数据的可观测性。在今天的教程中，我们将使用 Math aggregation 来达到同样的效果。准备数据在今天的教程中，我们将使用 Kibana 自带的索引来进行展示。打开 Kibana 界面：点击 Add data:这样我们的样本数据就导入进 Ela.
2020-07-24 23:11:44
1173
原创 Kibana：使用 Scripted fields 来提高数据的可观测性
脚本化字段根据 Elasticsearch 索引中的数据即时计算数据。 数据作为文档数据的一部分显示在 “Discover” 所展示的数据中，并且你可以在可视化文件中使用脚本化字段。 你可以使用 Kibana 查询语言查询脚本化字段，并可以使用过滤器栏过滤它们。 脚本字段值是在查询时计算的，因此不会被索引，也无法使用 Kibana 默认查询语言进行搜索。在我之前的文章 “Kibana: 如何在Kibana中生成Scripted fields” 中，我已经展示了如何使用 Scripted fields 来
2020-07-23 16:38:49
3769
5
原创 Logstash：如何使用 Logstash Grok 过滤器提取模式
Logstash 是数据管道，可帮助我们处理来自各种来源的日志和其他事件数据。 Logstash 拥有 200 多个插件，可以连接到各种源并将数据流式传输到中央分析系统。 Elastic Stack（Elasticsearch，Logstash和Kibana）是管理和分析日志和事件的最佳解决方案之一。有效分析和查询发送到 Elastic Stack 的数据的能力取决于数据的可读性和质量。 这意味着，如果将非结构化数据（例如纯文本日志）提取到系统中，则必须将其转换为富含有价值字段的结构化形式。 无论数
2020-07-22 16:25:55
4669
原创 Kibana：Markdown 可视化教程
Elastic Stack 的 Kibana 越来越成为很多人做可视化的首先。在今天的教程中，我将通过一个例子来讲述如何实现 Markdown。Kibana 的Visualize 带有 控件 和 Markdown 工具，你可以将其添加到仪表板以获得交互体验。Markdown工具是一个文本输入字段，接受 GitHub 风格的 Markdown文本。 输入文本时，该工具将在仪表板上填充结果。当你想在仪表板上包含重要信息，说明和图像时，Markdown 会很有帮助。有关 GitHub 风格的 Markdown
2020-07-21 17:04:41
3588
1
原创 Kibana：运用索引模式的 formatter 来探索 IP 信息
在之前的下列文章中，我已经展示了索引模式的 formatter 的强大功能： Kibana：在Kibana中对数据进行深入分析 (drilldown) Kibana：在Kibana 中定制 time picker 及 指标可视化显示格式 在 Kibana 中的很多查询中，我们会经常遇到显示 IP 地址的信息。这个 IP 地址可以在 Discover 的界面，或者是在一个表格里出现。假如我们想知道这个 IP 的地址是否为一个恶意的网站，或者我们想知道更多关于这个网站的信息。在很多的网站上，
2020-07-21 12:16:44
1169
原创 Logstash：使用 dissect 导入 CSV 格式文档
CSV 是一种非常通用的数据存储方式。在之前的好几篇文章中，我们使用了好几种的方法来把 CSV 格式的文件导入到 Elasticsearch 中。你可以参阅一下的文章：Beats：运用Elastic Stack分析COVID-19数据并进行可视化分析 Logstash：运用 Elastic Stack 分析 CSDN 阅读量 Logstash：导入zipcode CSV文件和Geo Search体验 Kibana： 运用Data Visualizer来分析CSV数据 在今天
2020-07-20 15:28:51
1293
原创 Kibana：为 TSVB 可视化标注
在很多的时候，我们需要使用 TSVB 来创建一个个性化的可视化化。在之前有好几个教程里，我们都有涉足： Elastic：机器学习异常的可视化呈现 Kibana：运用Kibana TSVB来定制我们的Visualization 通过标注，可以使得我们更加直观地看出来数据和一些错误及异常出现时和数据的流量或请求数之间的关系。在今天的教程中，我们将使用一个例子来展示。准备数据打开 Kibana。在今天的练习中，我们将使用 Kibana 中自带的数据：点击 Add da.
2020-07-16 17:58:03
1483
原创 Kibana：使用定制 control 可视化简化数据展示
在大家使用 Kibana 的时候，有没有想到在 Dashboard 里创建一个控件来很方便地让我们对数据进行赛选而不用在搜索栏中打入一下字符串来进行搜索，比如在 Kibana 中带入的 flight 例子了，有这样一个控件：在上面的输入框中，我们只需要选择起始城市及终点城市，并选择平均的票价，我们就可以找出来我们想要的数据，并且所在这个 Dashboard 里的可视化控件都将得到相应的变化。在某种程度上讲，它实际上是简化了我们在输入框中的搜索，从而使得我们的搜索变得更加友好。对于不熟悉 KQL 及
2020-07-16 13:43:41
2451
原创 Elasticsearch：Global aggregation
在搜索执行上下文中定义所有文档的单个存储桶。 此上下文由你要搜索的索引和文档类型定义，但不受搜索查询本身的影响。 Global aggregators 只能作为顶级聚合器放置，因为将 global aggregator 嵌入另一个存储桶聚合器中没有意义。我们还是先用一个具体的例子来展示。准备数据我们先在 Kibana 中使用 _bulk 创建如下的一个索引：POST _bulk{ "index" : { "_index" : "users", "_id": 1} }{"user".
2020-07-16 10:34:12
912
原创 Observability：使用 Elastic Agent 和 Ingest Manager 简化数据导入 （二）
在之前的文章“Observability：使用 Elastic Agent 和 Ingest Manager 简化数据导入 （一）”，我们介绍了 Elastic Agent 及 Ingest Manager。在今天的这篇文章中，我们将集中介绍如何在本地部署中使用 Ingest Manager。在我的讲述中，我将使用如下的配置：在上面的配置中，我们使用了两台机器，一个是 Mac OS。在里面安装有最新的 Elasticsearch 7.8 版本及 Kibana 7.8 版本。请一定要注意：我们必须安.
2020-07-15 16:50:33
3037
1
原创 Observability：使用 Elastic Agent 和 Ingest Manager 简化数据导入 （一）
在 Elastic 7.8 版本的发布中，我们很高兴地宣布一项重大改进，该改进将使将数据发送到弹性堆栈变得更加容易。 首先，我们将启动我们的 Elastic Agent 的实验版本，这是一个统一的代理，可简化安装和管理。其次，我们将启动 Ingest Manager，这是 Kibana 中的新应用程序，可让你单击几下快速添加流行服务和平台的集成。 它还将帮助你集中管理整个 Elastic Agent 团队。此实验版本将展示我们对未来的愿景，并允许您尝试我们的新解决方案。 没有将来版本的迁移路径，因此
2020-07-14 13:52:07
2662
原创 Elasticsearch：优化 Elasticsearch 效率 - 避免使用 multi-match 查询
今天为我读了一篇和有意思的文章。它的意思是尽量避免使用 multi-match 查询。而是使用 copy_to 参数将多个字段的值复制到一个。 然后，仅在此字段中执行搜索。在这里，就他的这个问题，我来分两个方面展开一下这个话题。“Elasticsearch 是有弹性的”。 很多方面。 不要指定任何内容，它仍然会为您的所有数据建立索引。 而且，这一点也不坏。 但是，要从 Elasticsearch 中获得最大价值（并减少费用），你将必须进行一些配置。更重要的是，你必须根据自己的业务需求需要来做一些自己的配
2020-07-13 16:15:52
1942
原创 Elasticsearch： NLP （Natural Language Processing）在 Elasticsearch 中的应用 - 7.x
通过 NLP，我们可以把我们导入的文档进行丰富，从而有更多内容供我们进行搜索，为我们更为精准的搜索打下基础。在今天的文章里，我来介绍一下 NLP 在 Elasticsearch 中的实际应用。我们可以看一下如下的一个例子。比如有一下的两个文档：I personally like a sweet appleSweet, please come over here假如我们把上面的两行分别作为两个文档导入到 Elasticsearch 之中，而当我们对我们的索引进行搜索 sweet 时：GET.
2020-07-09 10:49:39
4563
7
翻译 Elasticsearch：sniffing 的最佳实践：What, when, why, how
Elasticsearch 为当今使用的众多工具和应用程序提供强大的搜索体验，从运营分析仪表板到显示带有露台的最近餐馆的地图，你都可以出门在外。 在所有这些实现中，应用程序和集群之间的连接都是通过 Elasticsearch 客户端建立的。优化客户端和 Elasticsearch 集群之间的连接对于最终用户的体验极为重要。 Elasticsearch 客户端的典型配置是你必须连接到的节点的 URL。 但是你还可以做更多的事情，一种优化此连接的方法是 sniffing。以下是 sniffing 的工作
2020-07-08 11:19:06
2907
原创 Elasticsearch：创建 API key 接口访问 Elasticsearch
在之前我的文章 “Elastic：使用Postman来访问Elastic Stack” 中我介绍了如何在应用中访问 Elasticsearch。在那里，我们使用了最基本的 Basic authentication 的方法来访问 Elasticsearch。这种方法不好的地方就是每个用户所有的请求的验证都是一样的：使用的是同样的一个用户名及密码的 Base64 编码。在今天的文章中，我们将介绍如何创建 API key 来提供对 Elasticsearch 的访问。通过这个方法，一个用户可以动态生成无数个 AP
2020-07-07 15:22:47
10585
7
原创 Elasticsearch：使用 IP 过滤器限制连接
你还可以将 IP过滤应用于应用程序客户端，节点客户端或传输客户端来限制或允许一些 IP 对于 Elasticsearch 的访问。如果节点的IP地址在黑名单中，则 Elasticsearch 安全功能允许连接到 Elasticsearch，但该连接将立即被丢弃，并且不处理任何请求。Elasticsearch 安装并非旨在通过 Internet 公开访问。 IP过滤和 Elasticsearch 安全功能的其他功能不会改变这种情况。在使用这项功能的时候，必须注意的一点是：IP过滤 是金和白金许可的一部分。.
2020-07-06 16:10:54
6596
4
原创 Elasticsearch：运用 API 创建 roles 及 users
在我之前的文章： Elasticsearch：设置Elastic账户安全 Elasticsearch：用户安全设置 我介绍了如何使用 Kibana 来创建安全的 Elasticsearch 访问，已经如何创建 roles 及 users。在那里的介绍我们使用了 Kibana 的界面来完成的。在今天的文章中，我们来介绍如何使用 API 的方式来创建 roles 及 users。这样的好处是，我们可以直接在应用中动态地生成所需要的 roles 及 users。准备工作在做这个练.
2020-07-06 10:48:44
5552
原创 Beats：在 Beats 中实现动态 pipeline
在我之前的文章 “Beats: Filebeat和pipleline processors”中，我描述了如何使用 pipeline 和 Beats 一起共同来实现对数据的处理。在那篇文章中，我们可以看到的是我们只能使用一个固定的 pipleline 来处理数据。但是在实际的使用中，我们可能面临需要根据不同的情况使用不同的 pipeline。在今天的练习中我们将来展示如何实现。安装如果你还没有安装自己的 Elasticsearch, Kibana 及 Metricbeat 的话，那么请参阅我之前.
2020-07-04 18:27:27
1233
11
原创 Kibana：在Kibana 中定制 time picker 及 指标可视化显示格式
如何定制 Kibana 的 time picker对于经常使用 Kibana 的用户来说，经常会使用到 time picker。这是因为我们要展示的数据完全是依赖于 time picker 的选择。如果这个时间的范围设置不对，就没有可以供分析的数据。在上面，默认的情况下，是显示 Last 15 minutes。那我们有什么办法设置为 Last 1 year 吗？我们打开 Stack Management:点击 Advanced Settings:点击 Save change.
2020-07-01 17:19:33
2418
4
01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918
2024-09-18
04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825
2024-08-25
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825
2024-08-25
04-十倍性价比蜕变：腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727
2024-07-27
03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727
2024-07-27
02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727
2024-07-27
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727
2024-07-27
02-B站Elasticsearch平台实践 王星轶 线上 20240619
2024-06-20
01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619
2024-06-20
04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25
2024-05-28
03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25
2024-05-28
02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25
2024-05-28
01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25
2024-05-28
04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27
2024-04-29
03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27
2024-04-29
02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台
2024-04-29
01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27
2024-04-29
04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
2024-04-01
03-AI Assistant - 李捷 武汉 2024.03.30
2024-04-01
02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
2024-04-01
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
2024-04-01
04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
2024-01-08
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
2024-01-08
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
2024-01-08
01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024
2024-01-08
02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
2023-12-22
01-微盟 Elasticsearch 运维实践
2023-12-22
03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
2023-12-03
01-Elasticsearch Relevance Engine - meetup 11.16 2023
2023-11-17
02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
2023-11-17
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
2023-10-23
03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023
2023-10-23
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
2023-10-23
01-Elasticsearch Relevance Engine meetup 上海 10.21 2023
2023-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人