- 博客(27)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Enterprise：如何将自定义数据导入 Elastic Workplace Search - 一个简单的CSV示例
Elastic Workplace Search 可以立即从各种内容源（例如 Google Drive，GitHub 和 Salesforce）中提取数据。 但是您可能需要额外的灵活性来满足您自己独特的组织数据需求。Workplace Search 自定义源 API 提供了一种轻量级的，由 API 驱动的方式，用于将内容提取到 Workplace Search 中。 此灵活的工具可帮助你防止自定义内容被孤立，并使其完全显示在 Workplace Search 搜索结果中，就好像它源自现成的内容源集成一样
2020-06-30 14:50:22
1686
2
原创 Elastic：使用机器学习 API 创建一个任务
针对机器学习的API，我们可以在地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/ml-apis.html找到。这次，我们就其中的一些 API 来做一个简单的介绍。我们可以通过如下如下的 API 来查询 datafeed 的状态：GET _cat/ml/datafeedsdatafeed-response-request-by-app stopped 1006 712datafeed-total-reque..
2020-06-29 16:51:19
1372
原创 Elastic：机器学习 Demo
在之前的几篇文章中，我已经介绍了关于机器学习的一些文章。在今天的文章中，我准备了一个新的数据集来进一步地做一个练习。希望大家能对这个有一个更深入的了解。如果你还想了解更多关于机器学习的练习，可以参阅之前的文章： -Elastic：机器学习的实践 - single metric job -Elastic：机器学习的实践 - multi metric job -Elastic：机器学习的实践 - population job ...
2020-06-29 13:08:33
1874
13
原创 Elastic：在 ARM 上运行 Elasticsearch
Elastic 的指导原则之一就是要要和我们的用户在一起。我们以多种格式为多个平台发布了我们的产品，以便你可以尽快上线运行。随着基于 ARM 的体系结构的日益普及，我们希望确保我们的用户可以在 ARM 以及 x86-64 上运行Elasticsearch。从版本 7.8.0 开始，你可以下载用于64位 ARM 架构（AArch64）的Linux工件。 Docker 映像现在是多体系结构，这意味着你可以像在x86-64系统上那样，从 Docker Hub 或 Elastic 的 Docker 注册表中完全
2020-06-28 13:07:32
4837
14
原创 Elastic：机器学习的实践 - categorization
如果你有基于消息的日志条目，但是这些日志条目是机器生成的，则在将它们用于异常检测之前，首先需要将它们组织成类似的消息类型。 该过程称为分类 （cateogrization)，Elastic ML 可以帮助完成该过程。Categorization 将结构引入半结构化数据，以便对其进行分析。这样做的好处就是在事先在并不知道 message 含有什么，就能找到日志里的异常。可以供 categorization 的信息种类在定义此处要考虑的基于消息的日志行的类型时，我们需要稍微严格一些。 我们不考虑的是完
2020-06-27 17:51:22
1789
原创 Elastic：机器学习异常的可视化呈现
在我之前的文章中： -Elastic：机器学习的实践 - single metric job -Elastic：机器学习的实践 - multi metric job -Elastic：机器学习的实践 - population job我展示了如何使用 Elastic 的机器学习对异常的数据进行异常检测，比做相应的呈现。大家有没有觉得还是美中不足，那就是我们想在可视化中，比如在 dashboard 中进行展示是不能做到的。在今天的练习中...
2020-06-26 19:21:07
1823
原创 Elastic：机器学习的实践 - population job
在以下情况下，数据中的实体或事件可以被认为是异常的：他们的行为会随着时间而变化，相对于他们以前的行为，还是 它们的行为不同于指定群体中的其他实体。在之前的文章： Elastic：机器学习的实践 - single metric job Elastic：机器学习的实践 - multi metric job 后一种检测异常值的方法称为总体分析。机器学习分析可建立“典型”用户，机器或其他实体在指定时间段内所做的工作的概况，然后识别与人群相比何时表现异常。当总体上总体上的行为大多.
2020-06-24 20:32:25
1452
原创 Elastic：机器学习的实践 - multi metric job
这篇文章是之前文章 “机器学习的实践 - single metric job” 的续篇。如果你对 Elastic 的机器学习还是不太了解的话，请参阅之前的文章，并配置好自己的 Elasticsearch 机器。机器学习需要白金版许可。在今天的文章中，我将详细介绍如何使用机器学习创建一个 multi metric job。准备数据在今天的练习中，我们将使用 Elastic 自带的索引 eCommerce 来做。打开 Kibana:点击上面的 Add data 按钮，这样，我们就完成了.
2020-06-24 15:00:13
1758
原创 Logstash：运用 memcache 过滤器进行大规模的数据丰富
在之前的文章 “Logstash translate 过滤器简介”，我详细地介绍了如何使用 translate 过滤器来丰富我们的数据。在文章 “运用 Elasticsearch 过滤器来丰富数据”，我也介绍了如何使用 Elasticsearch 过滤器来对数据进行丰富。尽管 Elasticsearch和 translate过滤器适合较小的工作量，但我们可以通过提供一个可扩展的扩充层来改善此状况，该扩充层不会在单个 Logstash 节点上保持状态。例如，使用最近 memcached filter插..
2020-06-23 14:54:21
2484
原创 使用 Visual Studio Code 运行 Elasticsearch queries
今天我发现我们实际上可以使用 VSCode 运行 Elasticsearch DSL queries。如下是我采用的步骤：创建一个 .es 文件sample.esGET _cat/indices使用 VScode 打开这个文件code sample.es我们选择 elasticsearch 语言我们选择 localhost:9200 作为 Elasticsearch 的地址。我们点击 enter 键确认。安装上面的工具。我们在刚才的 .es 文件的目.
2020-06-23 13:53:31
4031
原创 Logstash：Logstash translate 过滤器简介
Logstash具有一个有趣的功能，称为翻译过滤器 （translate filter）。 翻译过滤器用于根据字典或查找文件过滤传入数据中的特定字段。 然后，如果输入字段与字典查找文件中的条目匹配，则它将执行操作，例如，将字段添加到数据或发送电子邮件。这个和我们之前介绍的数据丰富是一样的。一个简单的用例也许你正在从Twitter索引数据，并想知道用户何时在其推文中提及某些特定单词。 创建一个被认为很有趣的单词列表。 每次在推文中提及该单词时，你都可以在数据中添加一个字段，以将数据标记为“int.
2020-06-21 18:38:16
3856
原创 Elasticsearch：理解 Elasticsearch 中的 Percolator 数据类型及 Percolate 查询
Elasticsearch 是功能强大的功能丰富的工具。在今天的文章中，我来介绍一下 Percolator 数据类型。同时也介绍一下 Percolate query。您需要基本了解 Elasticsearch，尤其是映射和搜索。概念lasticsearch 的正常工作流程是将文档（作为JSON数据）存储在索引中，并执行搜索（也是JSON数据）以向索引询问有关这些文档的信息。简而言之，Percolate 可以逆转这种情况。 你存储 search 吃并使用文档询问有关这些搜索的索引。 是的，但这..
2020-06-21 17:00:23
2501
原创 Elastic：在 Elasticsearch 中计算摄取延迟并存储摄取时间以提高可观察性
使用 Elasticsearch 查看和分析数据时，通常会看到可视化效果以及监视和警报解决方案，这些解决方案利用了在远程/受监视系统上生成的时间戳。但是，使用远程生成的时间戳可能会有风险。如果远程事件的发生与到达 Elasticsearch 的事件之间存在延迟，或者如果远程系统上的时间设置不正确，则重要事件可能会在雷达的扫描之外而不被发现。因此，在将文档摄取到 Elasticsearch 中时，存储每个文档的摄取时间以及监视每个事件到达 Elasticsearch 集群需要多长时间通常会很有帮助。大于正
2020-06-19 16:42:14
1122
转载 Elastic Stack 7.8.0 重磅发布
我们非常高兴地宣布 Elastic Stack 7.8 版正式发布了。与大部分 Elastic 发布版本一样，7.8 为 Elasticsearch、Kibana、Logstash 和 Beats 引入了大量新功能，同时也为基于 Elastic Stack 构建的下列解决方案推出了各种新功能：Elastic 企业搜索、Elastic 可观测性和 Elastic 安全。我们预计 7.8 能够帮助客户和用户将更多数据导入到Elastic，精简导航和管理，并在我们的预设用例中使用专门构建的工具对这些数据进行更深.
2020-06-19 09:47:34
1675
3
原创 Elastic：负载均衡在 Elastic Stack 中的应用
在 Elastic Stack 的使用中，我们会经常使用到复杂均衡。如果我们不考虑到这点，那么当我们的一个环节出现问题的话，那么就可能造成Single point of failure，也就是整个数据的采集就不能工作。还有在多个实例部署的情况下，如何做到负载均衡更好地利用现有的资源。在今天的文章中，我们来讲述如何在数据采集或访问中，采用负载均衡。典型的 Elastic Stack 架构图我们先来看一下如下的一个典型的 Elastic Stack 图：在上面，我们可以看到 Beats ..
2020-06-18 08:07:33
1516
1
原创 Logstash：运用 Elasticsearch 过滤器来丰富数据
针对 Logstash 的数据丰富，除了我们之前介绍的 GeoIP 过滤器外，我之前也介绍了 “运用jdbc_streaming来丰富我们的数据”。在今天的文章中，我们介绍如何使用 Elastcsearch 过滤器来丰富我们的数据。在Elasticsearch中搜索上一个日志事件，并将其中的某些字段复制到当前事件中。 以下是有关如何使用此过滤器的两个完整示例。第一个示例使用传统查询参数，其中用户仅限于Elasticsearch query_string。 每当logstash收到 “end” 事件时
2020-06-16 21:55:52
2173
14
原创 Elastic：在 Grok 中运用 custom pattern 来定义 pattern
在我之前的文章 “Elastic可观测性 - 数据结构化及处理”，讲述了如果把一个非结构化的数据变为一个结构化的数据结构。其中Grokprocessor 是非常重要的一个。在今天的文章中，我们来更加深入地对它进行描述。今天的这个 Grok 的实践也适用于 Logstash 的 Grok filer。我们先来看一下如下的一个日志：157.97.192.70 2019 09 29 00:39:02.912 myserver Process 107673 Initializing在上面的日志中，我.
2020-06-15 16:40:16
2121
原创 Logstash：运用 Elastic Stack 分析 CSDN 阅读量
在今天的文章中，我将来介绍一下如何使用 Elastic Stack 来分析 CSDN 的阅读量。在这个教程中，我们将会学到：如何使用http_poller 从 github 下载一个CSV，并把该数据导入到 Elasticsearch 中 如何使用 fingerprint 过滤器保证没有重复的数据导入到 Elasticsearch 中，即使我们导入很多次我们知道目前 CSDN 提供一个月的统计数据。我们可以在如下的地方找到：点击上面的 “导出数据”，我们就可以得到所有关于文章的阅读.
2020-06-12 22:57:32
1097
原创 Beats: 使用 Filebeat 进行日志结构化 - Python
结构化日志背后的想法很简单：让应用程序直接编写 JSON 对象，而不是让应用程序将需要通过正则表达式解析的日志写入到你索引到 Elasticsearch 的 JSON 对象中。举例来说，假设你正在编写 Python Web 应用程序，并且正在使用标准库进行记录。 用户登录后，你可能会使用如下所示的日志记录语句：createlogs.pyimport logginguser = { "name": "liuxg", "id": "1"}session_id = "91e5b9d
2020-06-11 17:18:07
6006
15
原创 Kibana：Vega 可视化入门 - 定制自己的可视化图
Kibana 提供了很多开箱即用的可视化工具。它们可以让我们很方便地创建我们想要的那种分析图表。如果我们想定制一个我们自己的可视化图，那该怎么办呢？传统的方法是创建自己的插件来扩充我们自己的需求，但是这种开发的成本及周期都比较长。很幸运的是，Kibana 提供了一种很方便的可视化工具 : Vega。在今天的文章中，我们将来介绍如何创建一个属于我们自己的 Vega 可视化图。什么 Vega？我们可以在网站http://vega.github.io/找到关于 Vega 的详细说明。Vega...
2020-06-10 19:24:39
11559
9
原创 Logstash：运用 makelogs 创建测试日志
我们在使用 Elasticsearch 时，经常想找一些数据来进行测试，比如我们想试一下 Kibana 的可视化工具。我们有时想有很多的数据，但是有时就是找不到合适的数据。那么我们该怎么办呢？当然，我们有一种简单的办法就是使用 Kibana 给我们提供的测试数据，但是它可能也有很多的局限性：另外一种方法就是使用一些工具来生成我们想要数量或要求的数据。在今天的文章中，我们就来介绍这样的一个工具 makelogs。下载 makelogs我们在地址https://github.com...
2020-06-09 21:30:23
1091
3
翻译 Logstash：如何在 Elasticsearch 中查找和删除重复文档
许多将数据驱动到 Elasticsearch 中的系统将利用 Elasticsearch 为新插入的文档自动生成的 id 值。 但是，如果数据源意外地将同一文档多次发送到Elasticsearch，并且如果将这种自动生成的_id值用于Elasticsearch插入的每个文档，则该同一文档将使用不同的_id值多次存储在Elasticsearch中。 如果发生这种情况，那么可能有必要找到并删除此类重复项。 因此，在此博客文章中，我们介绍如何通过使用Logstash 使用Python编写的自定义代码从Ela
2020-06-09 15:55:24
3281
原创 Logstash：运用 fingerprint 过滤器处理重复的文档
这篇文章介绍了使用 Logstash 在 Elasticsearch中 对数据进行重复数据删除的方法。 根据你的用例，Elasticsearch中 的重复内容可能不被接受。 例如，如果你要处理指标，则 Elasticsearch中 的重复数据可能会导致错误的聚合和不必要的警报。 即使对于某些搜索用例，重复的数据也可能导致不良的分析和搜索结果。背景：Elasticsearch 索引在介绍重复数据删除解决方案之前，让我们简要介绍一下 Elasticsearch 的索引编制过程。 Elasticse.
2020-06-09 15:17:19
4023
原创 Observability：使用 Elastic Stack 分析地理空间数据 （二）
在之前的文章 “Observability：使用 Elastic Stack 分析地理空间数据 （一）”，我详述了如何从 OpenSky Network API 接口把数据导入到 Elasticsearch，并对这些数据进行可视化分析。也许针对很对的情况这个已经很满足了，因为它确实可以帮我们从很多实时数据中提取很多有用用用的东西。在今天的文章中，我们将参考之前的文章 “如何使用 Elasticsearch ingest 节点来丰富日志和指标” 。我们可以利用 Elasticsearch ingest 节
2020-06-04 21:34:06
1417
2
原创 Observability：使用 Elastic Stack 分析地理空间数据 （一）
随着人类在不断地探索空间，地理空间数据越来越多。 收集信息的速度以及提供位置信息的来源正在迅速增长。政府和商业卫星继续扩散。与GPS一起，它们提供了一系列不同的空间丰富的数据源，包括天气和温度模式，土地使用，土壤化学，减灾和响应，电信等。 移动设备和底层网络将人员，汽车，卡车和大量踏板车变成了位置信息的来源。计算机网络将位置信息嵌入IP地址元数据中，这可以帮助IT管理员在分布式基础架构中为用户提供支持，或者帮助执法部门以及我们的...
2020-06-03 22:14:30
2555
7
原创 Observability：如何在 Docker 之上使用 Elastic Stack 和 Kafka 可视化公共交通
你是否考虑分析和可视化地理数据？ 为什么不尝试Elasticsearch？ 也就是所谓的ELK（Elasticsearch + Logstash + Kibana）或Elatic Stack 不仅是NoSQL数据库。 它是一个整体系统，可以实时存储，搜索，分析和可视化来自任何来源的数据。 在这种情况下，我们将使用有关华沙公共交通位置的开放数据。在今天的文章中，我将介绍如何使用 Elastic Stack 和 Kafka来监控公共交通的车辆。我们将使用 Docker 来部署所有需要的组件。下面是整个...
2020-06-02 22:32:44
1695
原创 Logstash：使用 mutate 过滤器
如果你对 Logstash 还没有了解的话，请参阅我之前的文章 “Logstash：Data转换，分析，提取，丰富及核心操作”。在今天的文章中，我们将介绍 Logstash 中的 mutate 过滤器插件。在数据管道中使用 Logstash 的好处之一是能够根据系统和组织的需求将数据转换为所需的格式。 在 Logstash 中有多种转换数据的方法，其中一种是使用 mutate 过滤器插件。这个 Logstash 过滤器插件允许您将字段强制为特定的数据类型，并添加，复制和更新特定的字段以使其在整个环境
2020-06-01 12:32:04
9341
02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918
2024-09-18
01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918
2024-09-18
04-Elasticsearch 运维架构及核心业务场景介绍 - 魏一凡 南京 20240825
2024-08-25
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825
2024-08-25
04-十倍性价比蜕变：腾讯云ES全新架构助力日志场景降本增效 - 陈曦 深圳 20240727
2024-07-27
03-未来运维之道- Elastic Al助手的高效运维与数据智能 - 李捷 深圳 20240727
2024-07-27
02-腾讯云 ES8 新一代高性能高精度 RAG 向量检索引擎 - 黄国航 深圳 20240727
2024-07-27
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 深圳 20240727
2024-07-27
02-B站Elasticsearch平台实践 王星轶 线上 20240619
2024-06-20
01-Elasticsearch 管道查询语 ESQL 刘晓国 线上 20240619
2024-06-20
04-Elasticsearch Serverless 架构介绍及 DEMO 展示 - 徐胜 上海2025.5.25
2024-05-28
03-Elasticsearch 插件扩展与应用融合 - 李猛 上海 2025.5.25
2024-05-28
02-EElasticsearch 升级和双活架构实践 - 徐胜 上海 2025.5.25
2024-05-28
01-Elasticsearch 管道查询语 ESQL - 刘晓国 上海 2024.5.25
2024-05-28
04 - Elasticsearch+Neo4j在档案领域的探索与实践 - 兰小伟 重庆 2024.4.27
2024-04-29
03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27
2024-04-29
02 - 使用 Elasticsearch 和 Opentelemetry 在 Kubernetes 上打造现代化的可观测性平台
2024-04-29
01 - Elasticsearch 简单而高效的管道查询语言 - 刘晓国 重庆 2024.4.27
2024-04-29
04-小米在 Elasticsearch 服务成本治理的实践-周明裕 武汉 2024.03.30
2024-04-01
03-AI Assistant - 李捷 武汉 2024.03.30
2024-04-01
02-腾讯云 ES 结合 AI 场景的实践与探索 - 刘忠奇 武汉 2024.03.30
2024-04-01
01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 武汉 2024.03.30
2024-04-01
04-阿里云 Elasticsearch Serverless 低成本弹性能力解读 杭州 1.6 2024
2024-01-08
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
2024-01-08
03-Elasticsearch大宽表应用案例实践探索 杭州 1.6 2024
2024-01-08
01 - Elasticsearch 简单而高效的管道查询语言- ES QL 杭州 1.6 2024
2024-01-08
02-微盟技术沙龙-ES在商品中台的落地 12.21 2023 online
2023-12-22
01-微盟 Elasticsearch 运维实践
2023-12-22
03-Vega 或 Vega-Lite二次开发 Kibana 接口可视化 12.02 2023 Beijing
2023-12-03
01-Elasticsearch Relevance Engine - meetup 11.16 2023
2023-11-17
02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案-线上 meetup11.16
2023-11-17
04-腾讯云 Elasticsearch 助力企点业务腾飞 meetup 上海 10.21 2023
2023-10-23
03-腾讯云ES在搜索场景的建设及优化经验分享 meetup 上海 10.21 2023
2023-10-23
02-腾讯云 Elasticsearch 新篇章 meetup 上海 10.21 2023
2023-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人