• 博客(27)
  • 资源 (9)
  • 论坛 (1)

原创 Enterprise:如何将自定义数据导入 Elastic Workplace Search - 一个简单的CSV示例
原力计划

Elastic Workplace Search 可以立即从各种内容源(例如 Google Drive,GitHub 和 Salesforce)中提取数据。 但是您可能需要额外的灵活性来满足您自己独特的组织数据需求。Workplace Search 自定义源 API 提供了一种轻量级的,由 API 驱动的方式,用于将内容提取到 Workplace Search 中。 此灵活的工具可帮助你防止自定义内容被孤立,并使其完全显示在 Workplace Search 搜索结果中,就好像它源自现成的内容源集成一样

2020-06-30 14:50:22 405 2

原创 Elastic:使用机器学习 API 创建一个任务
原力计划

针对机器学习的API,我们可以在地址:https://www.elastic.co/guide/en/elasticsearch/reference/7.8/ml-apis.html找到。这次,我们就其中的一些 API 来做一个简单的介绍。我们可以通过如下如下的 API 来查询 datafeed 的状态:GET _cat/ml/datafeedsdatafeed-response-request-by-app stopped 1006 712datafeed-total-reque..

2020-06-29 16:51:19 381

原创 Elastic:机器学习 Demo
原力计划

在之前的几篇文章中,我已经介绍了关于机器学习的一些文章。在今天的文章中,我准备了一个新的数据集来进一步地做一个练习。希望大家能对这个有一个更深入的了解。如果你还想了解更多关于机器学习的练习,可以参阅之前的文章: -Elastic:机器学习的实践 - single metric job -Elastic:机器学习的实践 - multi metric job -Elastic:机器学习的实践 - population job ...

2020-06-29 13:08:33 504 2

原创 Elastic:在 ARM 上运行 Elasticsearch

Elastic 的指导原则之一就是要要和我们的用户在一起。我们以多种格式为多个平台发布了我们的产品,以便你可以尽快上线运行。随着基于 ARM 的体系结构的日益普及,我们希望确保我们的用户可以在 ARM 以及 x86-64 上运行Elasticsearch。从版本 7.8.0 开始,你可以下载用于64位 ARM 架构(AArch64)的Linux工件。 Docker 映像现在是多体系结构,这意味着你可以像在x86-64系统上那样,从 Docker Hub 或 Elastic 的 Docker 注册表中完全

2020-06-28 13:07:32 947 14

原创 Elastic:机器学习的实践 - categorization
原力计划

如果你有基于消息的日志条目,但是这些日志条目是机器生成的,则在将它们用于异常检测之前,首先需要将它们组织成类似的消息类型。 该过程称为分类 (cateogrization),Elastic ML 可以帮助完成该过程。Categorization 将结构引入半结构化数据,以便对其进行分析。这样做的好处就是在事先在并不知道 message 含有什么,就能找到日志里的异常。可以供 categorization 的信息种类在定义此处要考虑的基于消息的日志行的类型时,我们需要稍微严格一些。 我们不考虑的是完

2020-06-27 17:51:22 588

原创 Elastic:机器学习异常的可视化呈现
原力计划

在我之前的文章中: -Elastic:机器学习的实践 - single metric job -Elastic:机器学习的实践 - multi metric job -Elastic:机器学习的实践 - population job我展示了如何使用 Elastic 的机器学习对异常的数据进行异常检测,比做相应的呈现。大家有没有觉得还是美中不足,那就是我们想在可视化中,比如在 dashboard 中进行展示是不能做到的。在今天的练习中...

2020-06-26 19:21:07 481

原创 Elastic:机器学习的实践 - population job
原力计划

在以下情况下,数据中的实体或事件可以被认为是异常的:他们的行为会随着时间而变化,相对于他们以前的行为,还是 它们的行为不同于指定群体中的其他实体。在之前的文章: Elastic:机器学习的实践 - single metric job Elastic:机器学习的实践 - multi metric job 后一种检测异常值的方法称为总体分析。机器学习分析可建立“典型”用户,机器或其他实体在指定时间段内所做的工作的概况,然后识别与人群相比何时表现异常。当总体上总体上的行为大多.

2020-06-24 20:32:25 474

原创 Elastic:机器学习的实践 - multi metric job
原力计划

这篇文章是之前文章 “机器学习的实践 - single metric job” 的续篇。如果你对 Elastic 的机器学习还是不太了解的话,请参阅之前的文章,并配置好自己的 Elasticsearch 机器。机器学习需要白金版许可。在今天的文章中,我将详细介绍如何使用机器学习创建一个 multi metric job。准备数据在今天的练习中,我们将使用 Elastic 自带的索引 eCommerce 来做。打开 Kibana:点击上面的 Add data 按钮,这样,我们就完成了.

2020-06-24 15:00:13 472

原创 Logstash:运用 memcache 过滤器进行大规模的数据丰富
原力计划

在之前的文章 “Logstash translate 过滤器简介”,我详细地介绍了如何使用 translate 过滤器来丰富我们的数据。在文章 “运用 Elasticsearch 过滤器来丰富数据”,我也介绍了如何使用 Elasticsearch 过滤器来对数据进行丰富。尽管 Elasticsearch和 translate过滤器适合较小的工作量,但我们可以通过提供一个可扩展的扩充层来改善此状况,该扩充层不会在单个 Logstash 节点上保持状态。例如,使用最近 memcached filter插..

2020-06-23 14:54:21 1420

原创 使用 Visual Studio Code 运行 Elasticsearch queries

今天我发现我们实际上可以使用 VSCode 运行 Elasticsearch DSL queries。如下是我采用的步骤:创建一个 .es 文件sample.esGET _cat/indices使用 VScode 打开这个文件code sample.es我们选择 elasticsearch 语言我们选择 localhost:9200 作为 Elasticsearch 的地址。我们点击 enter 键确认。安装上面的工具。我们在刚才的 .es 文件的目.

2020-06-23 13:53:31 926

原创 Logstash:Logstash translate 过滤器简介
原力计划

Logstash具有一个有趣的功能,称为翻译过滤器 (translate filter)。 翻译过滤器用于根据字典或查找文件过滤传入数据中的特定字段。 然后,如果输入字段与字典查找文件中的条目匹配,则它将执行操作,例如,将字段添加到数据或发送电子邮件。这个和我们之前介绍的数据丰富是一样的。一个简单的用例也许你正在从Twitter索引数据,并想知道用户何时在其推文中提及某些特定单词。 创建一个被认为很有趣的单词列表。 每次在推文中提及该单词时,你都可以在数据中添加一个字段,以将数据标记为“int.

2020-06-21 18:38:16 722

原创 Elasticsearch:理解 Elasticsearch 中的 Percolator 数据类型及 Percolate 查询
原力计划

Elasticsearch 是功能强大的功能丰富的工具。在今天的文章中,我来介绍一下 Percolator 数据类型。同时也介绍一下 Percolate query。您需要基本了解 Elasticsearch,尤其是映射和搜索。概念lasticsearch 的正常工作流程是将文档(作为JSON数据)存储在索引中,并执行搜索(也是JSON数据)以向索引询问有关这些文档的信息。简而言之,Percolate 可以逆转这种情况。 你存储 search 吃并使用文档询问有关这些搜索的索引。 是的,但这..

2020-06-21 17:00:23 483

原创 Elastic:在 Elasticsearch 中计算摄取延迟并存储摄取时间以提高可观察性

使用 Elasticsearch 查看和分析数据时,通常会看到可视化效果以及监视和警报解决方案,这些解决方案利用了在远程/受监视系统上生成的时间戳。但是,使用远程生成的时间戳可能会有风险。如果远程事件的发生与到达 Elasticsearch 的事件之间存在延迟,或者如果远程系统上的时间设置不正确,则重要事件可能会在雷达的扫描之外而不被发现。因此,在将文档摄取到 Elasticsearch 中时,存储每个文档的摄取时间以及监视每个事件到达 Elasticsearch 集群需要多长时间通常会很有帮助。大于正

2020-06-19 16:42:14 358

转载 Elastic Stack 7.8.0 重磅发布

我们非常高兴地宣布 Elastic Stack 7.8 版正式发布了。与大部分 Elastic 发布版本一样,7.8 为 Elasticsearch、Kibana、Logstash 和 Beats 引入了大量新功能,同时也为基于 Elastic Stack 构建的下列解决方案推出了各种新功能:Elastic 企业搜索、Elastic 可观测性和 Elastic 安全。我们预计 7.8 能够帮助客户和用户将更多数据导入到Elastic,精简导航和管理,并在我们的预设用例中使用专门构建的工具对这些数据进行更深.

2020-06-19 09:47:34 1103 3

原创 Elastic:负载均衡在 Elastic Stack 中的应用

在 Elastic Stack 的使用中,我们会经常使用到复杂均衡。如果我们不考虑到这点,那么当我们的一个环节出现问题的话,那么就可能造成Single point of failure,也就是整个数据的采集就不能工作。还有在多个实例部署的情况下,如何做到负载均衡更好地利用现有的资源。在今天的文章中,我们来讲述如何在数据采集或访问中,采用负载均衡。典型的 Elastic Stack 架构图我们先来看一下如下的一个典型的 Elastic Stack 图:在上面,我们可以看到 Beats ..

2020-06-18 08:07:33 455

原创 Logstash:运用 Elasticsearch 过滤器来丰富数据

针对 Logstash 的数据丰富,除了我们之前介绍的 GeoIP 过滤器外,我之前也介绍了 “运用jdbc_streaming来丰富我们的数据”。在今天的文章中,我们介绍如何使用 Elastcsearch 过滤器来丰富我们的数据。在Elasticsearch中搜索上一个日志事件,并将其中的某些字段复制到当前事件中。 以下是有关如何使用此过滤器的两个完整示例。第一个示例使用传统查询参数,其中用户仅限于Elasticsearch query_string。 每当logstash收到 “end” 事件时

2020-06-16 21:55:52 595 14

原创 Elastic:在 Grok 中运用 custom pattern 来定义 pattern
原力计划

在我之前的文章 “Elastic可观测性 - 数据结构化及处理”,讲述了如果把一个非结构化的数据变为一个结构化的数据结构。其中Grokprocessor 是非常重要的一个。在今天的文章中,我们来更加深入地对它进行描述。今天的这个 Grok 的实践也适用于 Logstash 的 Grok filer。我们先来看一下如下的一个日志:157.97.192.70 2019 09 29 00:39:02.912 myserver Process 107673 Initializing在上面的日志中,我.

2020-06-15 16:40:16 470

原创 Logstash:运用 Elastic Stack 分析 CSDN 阅读量
原力计划

在今天的文章中,我将来介绍一下如何使用 Elastic Stack 来分析 CSDN 的阅读量。在这个教程中,我们将会学到:如何使用http_poller 从 github 下载一个CSV,并把该数据导入到 Elasticsearch 中 如何使用 fingerprint 过滤器保证没有重复的数据导入到 Elasticsearch 中,即使我们导入很多次我们知道目前 CSDN 提供一个月的统计数据。我们可以在如下的地方找到:点击上面的 “导出数据”,我们就可以得到所有关于文章的阅读.

2020-06-12 22:57:32 579

原创 Beats: 使用 Filebeat 进行日志结构化
原力计划

结构化日志背后的想法很简单:让应用程序直接编写 JSON 对象,而不是让应用程序将需要通过正则表达式解析的日志写入到你索引到 Elasticsearch 的 JSON 对象中。举例来说,假设你正在编写 Python Web 应用程序,并且正在使用标准库进行记录。 用户登录后,你可能会使用如下所示的日志记录语句:createlogs.pyimport logginguser = { "name": "liuxg", "id": "1"}session_id = "91e5b9d

2020-06-11 17:18:07 1344

原创 Kibana:Vega 可视化入门 - 定制自己的可视化图
原力计划

Kibana 提供了很多开箱即用的可视化工具。它们可以让我们很方便地创建我们想要的那种分析图表。如果我们想定制一个我们自己的可视化图,那该怎么办呢?传统的方法是创建自己的插件来扩充我们自己的需求,但是这种开发的成本及周期都比较长。很幸运的是,Kibana 提供了一种很方便的可视化工具 : Vega。在今天的文章中,我们将来介绍如何创建一个属于我们自己的 Vega 可视化图。什么 Vega?我们可以在网站http://vega.github.io/找到关于 Vega 的详细说明。Vega...

2020-06-10 19:24:39 2188 3

原创 Logstash:运用 makelogs 创建测试日志

我们在使用 Elasticsearch 时,经常想找一些数据来进行测试,比如我们想试一下 Kibana 的可视化工具。我们有时想有很多的数据,但是有时就是找不到合适的数据。那么我们该怎么办呢?当然,我们有一种简单的办法就是使用 Kibana 给我们提供的测试数据,但是它可能也有很多的局限性:另外一种方法就是使用一些工具来生成我们想要数量或要求的数据。在今天的文章中,我们就来介绍这样的一个工具 makelogs。下载 makelogs我们在地址https://github.com...

2020-06-09 21:30:23 331 2

翻译 Logstash:如何在Elasticsearch中查找和删除重复文档

许多将数据驱动到 Elasticsearch 中的系统将利用 Elasticsearch 为新插入的文档自动生成的 id 值。 但是,如果数据源意外地将同一文档多次发送到Elasticsearch,并且如果将这种自动生成的_id值用于Elasticsearch插入的每个文档,则该同一文档将使用不同的_id值多次存储在Elasticsearch中。 如果发生这种情况,那么可能有必要找到并删除此类重复项。 因此,在此博客文章中,我们介绍如何通过使用Logstash 使用Python编写的自定义代码从Ela

2020-06-09 15:55:24 628

原创 Logstash:运用 fingerprint 过滤器处理重复的文档
原力计划

这篇文章介绍了使用 Logstash 在 Elasticsearch中 对数据进行重复数据删除的方法。 根据你的用例,Elasticsearch中 的重复内容可能不被接受。 例如,如果你要处理指标,则 Elasticsearch中 的重复数据可能会导致错误的聚合和不必要的警报。 即使对于某些搜索用例,重复的数据也可能导致不良的分析和搜索结果。背景:Elasticsearch 索引在介绍重复数据删除解决方案之前,让我们简要介绍一下 Elasticsearch 的索引编制过程。 Elasticse.

2020-06-09 15:17:19 605

原创 Observability:使用 Elastic Stack 分析地理空间数据 (二)
原力计划

在之前的文章 “Observability:使用 Elastic Stack 分析地理空间数据 (一)”,我详述了如何从 OpenSky Network API 接口把数据导入到 Elasticsearch,并对这些数据进行可视化分析。也许针对很对的情况这个已经很满足了,因为它确实可以帮我们从很多实时数据中提取很多有用用用的东西。在今天的文章中,我们将参考之前的文章 “如何使用 Elasticsearch ingest 节点来丰富日志和指标” 。我们可以利用 Elasticsearch ingest 节

2020-06-04 21:34:06 519 2

原创 Observability:使用 Elastic Stack 分析地理空间数据 (一)
原力计划

随着人类在不断地探索空间,地理空间数据越来越多。 收集信息的速度以及提供位置信息的来源正在迅速增长。政府和商业卫星继续扩散。与GPS一起,它们提供了一系列不同的空间丰富的数据源,包括天气和温度模式,土地使用,土壤化学,减灾和响应,电信等。 移动设备和底层网络将人员,汽车,卡车和大量踏板车变成了位置信息的来源。计算机网络将位置信息嵌入IP地址元数据中,这可以帮助IT管理员在分布式基础架构中为用户提供支持,或者帮助执法部门以及我们的...

2020-06-03 22:14:30 1305 2

原创 Observability:如何在 Docker 之上使用 Elastic Stack 和 Kafka 可视化公共交通
原力计划

你是否考虑分析和可视化地理数据? 为什么不尝试Elasticsearch? 也就是所谓的ELK(Elasticsearch + Logstash + Kibana)或Elatic Stack 不仅是NoSQL数据库。 它是一个整体系统,可以实时存储,搜索,分析和可视化来自任何来源的数据。 在这种情况下,我们将使用有关华沙公共交通位置的开放数据。在今天的文章中,我将介绍如何使用 Elastic Stack 和 Kafka来监控公共交通的车辆。我们将使用 Docker 来部署所有需要的组件。下面是整个...

2020-06-02 22:32:44 683

原创 Logstash:使用 mutate 过滤器
原力计划

如果你对 Logstash 还没有了解的话,请参阅我之前的文章 “Logstash:Data转换,分析,提取,丰富及核心操作”。在今天的文章中,我们将介绍 Logstash 中的 mutate 过滤器插件。在数据管道中使用 Logstash 的好处之一是能够根据系统和组织的需求将数据转换为所需的格式。 在 Logstash 中有多种转换数据的方法,其中一种是使用 mutate 过滤器插件。这个 Logstash 过滤器插件允许您将字段强制为特定的数据类型,并添加,复制和更新特定的字段以使其在整个环境

2020-06-01 12:32:04 615

images.tar.gz

Pictures for tutorials

2014-09-10

Ubuntu Core知识分享

介绍Ubuntu及其开发流程

2016-12-26

Ubuntu core introduction

介绍Ubuntu Core, snapcraft,Ubuntu Core安全,商店

2016-08-31

Scope开发介绍

在文档中介绍最新的在Ubuntu手机平台上的Scope开发知识

2015-06-29

Ubuntu上的HTML5开发

本文档介绍了如何在Ubuntu平台上开发HTML5的应用

2015-03-18

online account workshop

Ubuntu平台上的online account介绍

2015-02-03

Ubuntu手机介绍

介绍Canonical公司,Ubuntu手机平台,SDK。重点介绍Ubuntu手机平台上的Scope技术。

2015-01-16

Ubuntu应用开发

在这个文档中介绍如何在Ubuntu平台上开发应用

2015-01-04

Scope技术开发

这篇文章介绍了如何在Ubuntu平台上开发Scope。

2015-01-04

Elastic 中国社区官方博客的留言板

发表于 2020-01-02 最后回复 2020-08-03

空空如也
提示
确定要删除当前文章?
取消 删除