- 博客(1226)
- 收藏
- 关注
RSS订阅
转载 【重启通知】Elastic 中国开发者大会定于2023年4月8日在深圳举办，欢迎前来参会
1、目前大会报名购票通道已重新开启，欢迎大家报名参会（已经报名的参会者请勿重复报名），现在报名可享受八折购票优惠，优惠名额有限，先到先得哦。最后在2023年新春到来之际，Elastic 中国开发者大会组委会祝大家新春快乐、身体健康、工作顺利、阖家幸福！2、由于部分议题陈旧，我们重新开放了演讲议题申请，欢迎大家提交和推荐。4、如需要加入大会微信交流群，请加微信(lsy965145175)拉群。
2023-01-19 12:54:25
101
原创 不忘初心，坚持创作和分享，做自己喜欢的事 - 2022 年回顾
不知不觉，来到 Elastic 已经三年多了。在 Elastic 的三年，是疫情发生的三年。对很多人来说，疫情对我们的工作和学习都有很大的变化。好在我还能静下心来，每天坚持学习，不断地创作。记录下来自己的学习及成长经历。我学习的劲头仿佛回到了少年，虽然我已经不再年轻。记得当年在新加坡开始工作的时候，我几乎每个周末都会去图书馆借阅很多的书，就像一个饥渴的孩子。很庆幸能在这个年龄保持一个学习的习惯。每天都坚持学习！我相信只要坚持不断地学习，一定会有收获和回报！从事技术布道超过17年。
2023-01-06 17:13:39
1354
2
原创 Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
2020-10-28 11:54:13
18388
14
原创 Elastic：开发者上手指南
您们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
2020-02-25 20:01:55
106101
85
原创 Elastic：培训视频 - 在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
2020-01-06 15:31:54
13106
12
原创 Elasticsearch 简介
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
2019-08-08 16:04:31
123889
26
原创 Elasticsearch：轻松处理 CSV 数据
我们知道 CSV 是一种非常流行的数据格式。在 Elastic Stack 中，我们有很多的方式来摄入 CSV 格式的数据。在这篇文章中，我们来了解各种摄入 CSV 文档的方式。
2023-02-03 11:26:36
10
原创 Elasticsearch：彻底理解 Elasticsearch 数据操作
Elasticsearch 中有四种基本的数据操作。每个操作都有自己的资源需求。每个用例都使用这些操作，但它们会优先于某些操作。在今天的文章中，我将详述上面的几个基本操作。
2023-02-01 20:57:57
411
原创 Elasticsearch：Elasticsearch 中的父级和兄弟级聚合
从广义上讲，我们可以将聚合分为两种类型：父聚合（parent aggregation）和兄弟聚合（sibling aggregation）。你可能会发现它们有点令人困惑，所以让我们看看它们是什么以及如何使用它们。
2023-02-01 12:21:10
37
原创 Elasticsearch：计数分词中的 token
查询来检索 book_name 中包含 3 个以上 token 的文档，我们只会得到标题为 “One Hundred Years of Solitude” 的文档。在我们针对 text 类型的字段进行分词时，分词器会把该字段分解为一个个的 token。我们下面用一个比较简单的例子来进行展示。在我们的示例中，我们将索引一些书名，并且我们将过滤标题中只有 2 个 token 的书。该类型是 token 的计数器，也就是说，我们可以使用它来了解在索引字段时在字符串中生成的 token 数量。
2023-01-31 13:09:05
59
原创 Elasticsearch：理解 query_string 和 simple_query_string 查询
针对很多的开发者来说，如果你不是很熟悉 DSL 查询，那么在有些情况下，query_string 及 simple_query_string 变得非常灵活及方便。在今天的文章中，我来比较一下这两种查询的方法。
2023-01-31 09:26:05
116
原创 Logstash：如何使用 Logstash 解析并摄入 JSON 数据到 Elasticsearch
详细描述如何把 JSON 格式的文件摄入到 Elasticsearch 集群中。
2023-01-31 07:46:25
240
原创 Elasticsearch：从 Kafka 到 Elasticsearch 的实时用户配置文件数据管道
如今，网络服务、数字媒体、传感器日志数据等众多来源产生了大量数据，只有一小部分数据得到妥善管理或利用来创造价值。读取大量数据、处理数据并根据这些数据采取行动比以往任何时候都更具挑战性。在我之前的文章 “”，我实现了如下的一个数据 pipeline：在今天的文章中，我将实现如下的一个数据 pipeline：在今天的展示中，我将使用最新的 Elastic Stack 8.6.1 来进行展示。
2023-01-29 20:15:59
338
2
原创 Elasticsearch：将数据从 Elasticsearch 和 Kibana 导出到 Pandas Dataframe
在这篇文章中，我们将看到如何从 Elasticsearch 索引和 Kibana 的 CSV 报告中导出数据 - post-url 到 pandas 数据帧。数据的可视化可以在 Kibana 中完成，但如果你想对数据进行更精细的分析并创建更动态的可视化，将数据导出到 pandas dataframe 将是一个不错的选择。在如下的演示中，我将使用 Elastic Stack 8.5.3 来进行展示。
2023-01-28 13:14:21
453
原创 Elasticsearch：深入理解 Elasticsearch 查询：过滤器查询 vs 全文搜索
Elasticsearch 现在适合许多用途，有时很难理解什么是最好的工具。我希望你记住的主要事情是，你并不总是需要使用最高级的功能来解决简单的问题。如果你不需要相关性分数来检索你的数据，请尝试切换到过滤器上下文。此外，了解 Elasticsearch 的底层工作原理也很重要，因此我建议你充分了解分词器的功能。Elasticsearch 中有更多的查询类型。我试图描述最常用的。我希望你喜欢它。
2023-01-27 10:00:43
590
2
原创 Elasticsearch：Elasticsearch percolate 查询
它与 Elasticsearch 搜索的一般工作方式相反。在 Percolate Query 中，你将提供文档作为输入，以从与输入文档匹配的索引中查找 query。可以根据已保存的查询使用 Percolate Query 对文档进行分类或标记。Percolate query 调用 Elasticsearch 经典搜索的逆向 因为，query 将被存储而不是 Elasticsearch 索引中的文档。文档将用于代替搜索请求中的 query。Elasticsearch 将生成与输入文档匹配的查询列表。
2023-01-25 11:48:04
780
原创 Elasticsearch：如何在 Elasticsearch 中搜索空值
根据 Elasticsearch 文档，无法索引或搜索空值 null。当一个字段设置为 null（或空数组或空值数组）时，它被视为该字段没有值。
2023-01-25 10:05:39
283
原创 Elasticsearch：从实例中学习 nested 数据类型的 CRUD 及搜索
在本文中，我们简要介绍了常见的查询以创建、读取、更新、删除和搜索嵌套查询。对于 CRUD 操作，你需要编写一个简单的 painless 脚本。你无需掌握整个painless 编程语言即可使用 Elasticsearch。了解一些常用命令就足以满足日常使用。如果你想成为 painless 达人，可以查看painless 指南。你也可以阅读我的文章 “Elastic：开发者上手指南” 中的 “Painless 编程” 章节。对于 nested 字段搜索，不要被看似复杂的查询吓倒。
2023-01-18 12:18:12
203
原创 Elasticsearch：以更简单的方式编写具有逻辑条件的 Elasticsearch 查询 - query_string
当涉及到诸如 NOT、AND 和 OR 之类的布尔运算时，我们通常使用带有 must、should、must_not 子句的布尔查询。是的，bool 查询非常强大，可用于执行所有类型的高级搜索。但是，对于具有基本 NOT、AND 和 OR 条件的简单搜索，使用 bool 查询有点矫枉过正，因为你需要编写大量样板代码。这是 query_string 查询适合的地方，因为它具有更简单的语法。针对 query_string，在我的另外一篇文章 “” 有详细介绍。
2023-01-18 11:10:58
761
原创 Elasticsearch：通过例子快速入门
Elasticsearch 是业界最流行的开源企业搜索引擎，应用广泛。在我们的手机里的 App 背后的搜索引擎好多都是 Elasticsearch，比如我们熟知的抖音，滴滴，美团，携程，点评，银行 app，保险，证券，交友，健康宝等等。如果你想初步了解 Elasticsearch，请阅读我之前的文章 “我们还学习了。索引 laptops-demo 已创建并填充了一些示例数据，本文中的查询将基于这些数据。如果你还没有读过这篇文章，建议先读一读。
2023-01-17 16:44:43
872
原创 Elasticsearch：关于在 Python 中使用 Elasticsearch 你需要知道的一切 - 8.x
Elasticsearch 是一个非常强大的搜索引擎，使用非常广泛。本文的重点是使用 Python 批量创建 Elasticsearch 文档。我们仅仅触及了 Elasticsearch 搜索查询的皮毛。我有专门的文章介绍 Elasticsearch的 基本查询和高级查询，用于搜索和分析。Elasticsearch 原生语言中使用的查询与 Python 中使用的查询相同。因此，当你掌握了Kibana中的原生查询后，你就可以在Python中自由使用了。
2023-01-16 19:53:27
360
翻译 Elasticsearch：解析和丰富日志数据以在 Elastic 平台上进行故障排除
在较早的博客文章 “”，我们讨论了收集和使用非结构化日志数据。我们了解到，将数据添加到 Elastic Stack 非常容易。到目前为止，我们所做的唯一解析是从该数据中提取时间戳，以便正确回填旧数据。我们还谈到了在博客末尾搜索这种非结构化数据。虽然非结构化数据在与全文搜索功能结合使用时非常有用，但在某些情况下，我们需要更多的结构来使用数据来回答我们的问题。
2023-01-13 11:18:47
80
原创 Elasticsearch：如何在 Docker 上运行 Elasticsearch 8.x 进行本地开发
我们已经介绍了在 Docker 上运行 Elasticsearch 和 Kibana 的各种方法。对于本地开发，在大多数情况下我们可以禁用 xpack 安全性，只关注数据和查询。在禁用 xpack 安全性时使用 Docker 会更加直接。对于生产，我们通常会将数据托管在专门的提供商（例如 elastic.co）上，这样可以省去管理服务器、证券和升级的工作，让我们专注于重要的业务逻辑。
2023-01-12 19:55:08
534
原创 Elasticsearch：如何在 Elasticsearch 中正确使用同义词功能
同义词用于提高搜索质量并扩大匹配范围。例如，搜索 England 的用户可能希望找到包含 British 或 UK 的文档，尽管这三个词完全不同。Elasticsearch 中的同义词功能非常强大，如果实施得当，可以使你的搜索引擎更加健壮和强大。在本文中，我们将通过简单的代码片段介绍在实践中实现同义词功能的要点。特别是，我们将介绍如何更新现有索引的同义词，这是一个相对高级的话题。在今天的展示中，我将使用最新的 Elastic Stack 8.6.0，尽管版本不对我们的展示有任何的影响。
2023-01-12 14:44:29
261
原创 Elasticsearch：运用 Go 语言实现 Elasticsearch 搜索 - 8.x
在我之前的文章 “”，我对 Elasticsearch golang 客户端做了一个简单的介绍。在今天的这篇文章中，我将详细介绍如何使用这个客户端来一步一步地连接到 Elasticsearch，进而创建索引，搜索等。关于 golang 客户端的使用，完整的文档托管在和上。在我们的展示中，我们将使用 Elastic Stack 8.5.3 来进行展示。
2023-01-11 15:16:00
600
2
原创 Elasticsearch：Go 客户端简介 - 8.x
是由 Elastic 开发、维护和支持的客户端系列的最新成员之一。初始版本于 2019 年初发布，并在过去一年中逐渐成熟，获得了重试请求、发现集群节点和各种辅助组件等功能。我们还提供了全面的示例，以方便使用客户端。在本系列中，我们将探讨 Go 客户端的架构和设计，重点介绍具体的实现细节，并提供示例和使用指南。在这篇博文中，我们将重点关注客户端的整体架构以及包和存储库布局。，在使用 golang 进行客户端开发时，开发者也可以选择。
2023-01-10 14:55:26
1025
原创 Kibana：REST API
在我之前的很多文章是基于 Elasticsearch 或者 Enterprise server。我们较少涉及到 Kibana REST API。实际上，Kibana 自己也是一个 Node.js 服务器。它也有自己的 REST APIs。在今天的文章中，我们开始对 Kibana 的 REST API 来做一些介绍。一些 Kibana 功能是通过 REST API 提供的，这非常适合创建与 Kibana 的集成，或自动化配置和部署 Kibana 的某些方面。
2023-01-09 16:22:53
706
5
翻译 回顾 2022 年 — 回顾 Elastic 这一年
2022 年对 Elastic 来说是非凡的一年，我们在可观察性、安全性和企业搜索解决方案、新客户和深化合作伙伴关系方面引入了数十项创新。在我们花点时间回顾过去的一年时，我们汇总了 2022 年的热门博文。希望你喜欢！
2023-01-07 20:38:36
2780
1
原创 Elasticsearch：利用搜索提高医疗保健公平 - 用多语言 NLP 模型和分析来改善最终用户体验
随着更高生产力和更健康的人群寿命更长，医疗保健将成为社会最重要的方面之一。COVID-19 大流行加速了现代技术的采用，并凸显了患者体验的重要性。随着越来越多的消费者开始控制他们的数据，医疗保健系统变得捉襟见肘。根据发布的一项研究，92% 的医疗保健技术领导者将数字能力视为实现更好患者体验的途径。在这篇博文中，我们将探讨 Elastic 的搜索功能如何帮助解决健康公平的潜在障碍，正如医疗保险和医疗补助服务中心 (CMS)中概述的那样 — 特别是如何向受益人提供医疗信息的。
2023-01-05 17:18:45
1077
3
翻译 Observability：日志监控和非结构化日志数据，超越 tail -f
几十年来，日志文件和系统日志一直是管理员和开发人员的信息宝库。但是随着越来越多的活动部件和越来越多的关于在何处运行现代云应用程序的选择，关注日志和解决问题变得越来越困难。虽然通常可以通过ssh连接到服务器并运行诸如tail -f之类的命令，但这种方法不适用于大多数开发人员和管理员。即使你精通命令行，也可以使用awk和grep在日志文件中找到你要查找的内容，甚至可以计算一些关于特定错误发生频率的简单统计数据。但是，如果应用程序在数百台服务器或 Kubernetes pod 上运行怎么办？
2023-01-03 09:56:53
135
原创 Elasticsearch：使用 Node.js 将实时数据提取到 Elasticsearch 中（二）
在我的上一篇文章 “”，我详细描述了如何如何使用 Node.js 来采集地震数据。在今天的文章中，我们来详细描述如何对数据可视化。我们还将创建一个 web 应用来对我们的地震数据进行搜索。在进行可视化之前，我们可以让我们的应用运用一段时间以收集一定的数据。
2023-01-03 08:17:08
501
1
原创 Elasticsearch：使用 Node.js 将实时数据提取到 Elasticsearch 中（一）
Elasticsearch 是一个强大的 RESTful 搜索和分析引擎，能够处理越来越多的用例。 它将集中存储你的数据，以实现闪电般的快速搜索、微调相关性以及可轻松扩展的强大分析。 关于如何使用 Elastic Stack（又名 ELK 堆栈）将数据摄取到 Elasticsearch 的资源有很多。在今天的文章中，我将详细介绍如何使用 Node.js 从零开始来把地震的实时数据采集到 Elasticsearch 中。
2023-01-03 07:57:32
634
翻译 Perf8：Python 的性能指标
我们正在用 Python 构建，以从 Elasticsearch 中的各种来源（MySQL、网络驱动器、AWS 等）获取数据，用于企业搜索。从第三方服务中提取数据到 Elasticsearch 通常是 I/O 密集型活动。你的代码位于打开的套接字上，并将数据从一端传递到另一端。这是 Python 异步应用程序的一个很好的用例，但它需要精心设计。当数据流经该管道时，我们希望确保不会耗尽可用资源（RAM/CPU/FD）。我们还希望在不终止 Elasticsearch 或后端服务的情况下最大化输出。
2022-12-28 08:12:32
99
原创 Elasticsearch：使用 runtime fields 探索你的数据
你可以从一个简单的示例开始，将 @timestamp 和 message 字段作为索引字段添加到 my-index-000001 映射中。为了保持灵活性，使用wildcard{},}}}}在上面，我们有意使用 wildcard 字段来定义 message。这样它非常节省存储空间，并且会提高写入文档的速度。如果要检索包含 clientip 的结果，可以将该字段添加为映射中的运行时字段。以下运行时脚本定义了一个grok 模式，该模式从文档中的单个文本字段中提取结构化字段。
2022-12-26 14:18:18
559
3
原创 Kibana：圣诞老人使用 Kibana Dashboards 驾驶他的雪橇！
又到了每年一度的圣诞节了。圣诞老人今年开始向各个国家发放礼物了。他驾驶着自己的雪橇挨个国家发放礼物了。我们收集了去世界过个国家的首都的地理位置信息，并按照一定的顺序来发放礼物。我们可以轻松地使用 Elastic Stack 中的 Kibana 来创建一个 Maps 可视化来展现圣诞老人的行动轨迹。有关这个展示的数据，在这个展示中，我将使用最新的 Elastic Stack 8.5.3 来进行展示。
2022-12-23 12:49:36
661
原创 Kibana：如何为仪表盘添加当前时间显示的可视化
在有些大屏幕或者 dashboard 中，我们显示当前的时间会更人性化。在我们目前 Kibana 所提供的可视化里没有任何一个可视化能做到这一点，那么我们该如何做到呢？从上面我们可以看出来，它显示了一个当前的时间，但是美中不足的是它显示的是 UTC 时间，和我们当前的时间 8:33 AM 显然是查了 8 个小时。在下面的展示中，我将使用最新的 Elastic Stack 8.5.3 来进行展示。显然这次显示的时间为当前浏览器设置的时域的时间，也就是我们当前的北京时间。最终我们完成了一个始终的可视化。
2022-12-23 08:41:25
155
原创 Elasticsearch：如何减少 Elasticsearch 集群中的分片数量
在我之前的文章 “” ， 它描述了在我们实际操作中的分片数量的准则。在文章 “” 讲述了如何部署 Elasticsearch 来满足我们的搜索数据的需求。在实际的操作中，我们可能由于版本的变迁，会涉及到分片数据的变更。在今天的文章中，我们来描述一下具体的操作。
2022-12-22 09:31:06
868
原创 Elasticsearch：使用 NLP 问答模型与你喜欢的圣诞歌曲交谈
自然语言处理 () 是人工智能 (AI) 的一个分支，旨在通过将计算语言学与统计、机器学习和深度学习模型相结合，尽可能接近人类解释地理解人类语言。NLP 的最大挑战之一是在考虑到各种语言表示的情况下预训练文本数据的过程。2018 年，谷歌采购了一种称为（）的预训练 NLP 新技术，不再需要以任何固定顺序处理数据，从而允许在更大量的数据上进行训练，并提高理解上下文的能力和语言的歧义。与任何其他预训练过程一样，数据越多越好。因此，使用了未标记的文本数据集，例如整个英文维基百科。
2022-12-21 10:48:11
796
2
翻译 Elastic 在 2022 年 Gartner® 洞察力引擎魔力象限™ 中被评为领导者
我们很高兴地宣布，Elastic 在 2022 年 Gartner® 洞察力引擎魔力象限™ 中被评为领导者。 这是我们第二年入选 Gartner 魔力象限，今年的评估将 Elastic 列为 “Completeness of Vison” 轴上最远的公司。 我们认为，这个位置、我们的市场势头和我们的愿景实力是由两个基本面驱动的结果
2022-12-19 11:56:47
292
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人