• 博客(16)
  • 资源 (9)
  • 论坛 (1)

原创 Kibana:通过 Elastic Maps 中的全局行政层为 IP 分析带来新见解

我们喜欢 Elastic 的地图。在 Elastic Stack 中,我们使用地图可视化的所有数据都有一个核心组成部分:位置。位置可以表示报告机队车辆的实时位置,使用地理围栏限制搜索结果,从某个地理区域衡量应用程序性能指标或通过将地理坐标附加到 IP 地址来识别安全威胁。最近,我们在 Elastic Maps 中添加了一个行政区域边界层,以对你的地理空间分析进行微调。这里所谓的行政区就像我们国家的行政区划分一样,比如北京,湖南,湖北,山西等等。它是对一个地区的边界划分。这个对于我们很多的区域数据统计非常

2020-09-21 12:28:01 4

原创 Kibana:为可视化图添加一个 static 线

当我们做可视化图时,有时我们想为自己的图添加一条静态线。这条线的作用是用来表示在什么位置的统计数据是高于这个值的或低于这个值的。我们知道在通常的情况下,我们一般的可视化图是不可以做到这一点的。我们需要使用 TSVB 来说实现这个。比如,使用下图的红线,它清楚地表明了在什么时候统计数据是大于20的。准备数据在今天的教程中,我们将使用 Kibana 自带的索引来进行展示。打开 Kibana 界面:点击 Add data:这样我们的样本数据就导入进 Elasticsearch.

2020-09-21 10:51:53 9

原创 Elasticsearch:Snapshot 生命周期管理

在今天的文章中,我们来讲述一下 Data safety 及 security。safety 及 security 是两个不同的概念,尽管在中文很多时翻译都为安全的意思。前者的意思是指我的数据在硬件或者人为操作发生错误时,我可以通过数据的备份(比如 snapshot)以及冗余数据存储(比如多个 replica)来找回丢失的数据。Security 更注重数据的能否被非法访问。在今天的讲述中,我们将重点介绍 Elastic 所提供的 Snapshot 功能以及如何使用 Elastic 提供的 snapshot 生

2020-09-17 16:22:30 113

原创 Elasticsearch:foreach 摄入处理器介绍

foreach processor用于处理未知长度数组中的元素。这个有点和我们在编程中使用的循环是一样的。所有处理器都可以对数组内的元素进行操作,但是如果需要以相同的方式处理数组中的所有元素,则为每个元素定义处理器将变得既麻烦又棘手,因为数组中元素的数量可能未知。因此,存在 foreach 处理器。通过指定包含数组元素的字段和定义每个元素应该发生什么的处理器,可以轻松地预处理数组字段。foreach 处理器内部的处理器在数组元素上下文中工作,并将其放在 _ingest._value 键下的摄取元数.

2020-09-16 15:03:52 243

翻译 Elasticsearch:使用 GeoIP 丰富来自内部专用 IP 地址

对于公共 IP,可以创建表来指定 IP 属于哪个城市的特定范围。但是,互联网的很大一部分是不同的。在世界上每个国家都有公司专用网络,其 IP 地址的格式为 10.0.0.0/8、172.16.0.0/12 或 192.168.0.0/16。这些 IP 地址往往没有有关地理位置的真实信息。因此,Elasticsearch 和 Logstash 中内置的 geoip 过滤器/处理器不适用于这些私有 IP。Elasticsearch 和 Logstash 可以选择指定要使用的特定数据库文件(database

2020-09-16 09:25:40 123

原创 Enterprise: 如何在 Chrome 中设置 Elastic Workplace Search 为搜索引擎

Elastic Workplace Search通过将所有内容平台(Google云端硬盘,github, gira, confluence, Salesforce等)统一到个性化的搜索体验中,提高团队的生产力。 凭借其轻松和灵活的部署(在Elastic Cloud上或作为免费的自助管理下载),预先调整的相关性和直观的界面,Elastic Workplace Search可帮助您和您的队友恢复工作。 如果你对 Elastic Workplace Search 还不是很了解的话,请阅读我之前的文章:So..

2020-09-15 11:10:16 313

原创 Elasticsearch:通过 sampler 聚合来改善繁重的 Elasticsearch 聚合

结合两个 Elasticsearch 功能:sampler 聚合可以帮助创建有效的估计 facet 和见解,同时显着降低繁重和缓慢聚合的成本。Sampler aggregation 是一种筛选聚合,用于将任何子聚合的处理限制为得分最高的文档样本。典型用例:将分析重点放在高相关性匹配上,而不是可能很长的低质量匹配上 减少仅使用样本即可产生有用结果的聚合(比如 significant terms)运行成本对于不想分析整个数据集的方案,sampler 聚合是一个很好的解决方案:它提高了速度和内存使

2020-09-14 18:50:55 408

原创 Elasticsearch:IP 数据类型及其搜索

在使用 Elasticsearch 搜索 IP 地址时,我们可以把数据类型定义为 IP 数据类型。这样我们可以针对 IP 地址进行搜索。这种 IP 地址可以是 IPv4 或者是 IPv6 的形式。现在假设我们导入一个如下的数据到 Elasticsearch 中:PUT my-index/_doc/1{ "ip_addr": "192.168.1.1"}在没有定义数据类型的情况下, Elasticsearch 会把上面的字段 ip_add 映射到一个 text 及 keyword 的..

2020-09-10 16:56:36 847

原创 Elasticsearch:使用 _validate API 在不执行查询的情况下验证查询

我们知道有的 Elasticsearch 的查询是非常耗时的。我们可以使用 _validate API 来对我们的 DSL 搜索进行一些验证。在很多的情况下,我们甚至可以使用这个 API 来验证不同的查询方法之间的区别或相同的地方。Elasticsearch 的 DSL 最终会转换为 Apache Lucene 的查询。今天,我将使用一个例子来展示这个 API 的用法。首先,我们创建一个如下的索引及文档:PUT my_index/_doc/1{ "content": "I like Elas

2020-09-10 12:25:53 553

原创 Beats:使用 Filebeat 导入 JSON 格式的日志文件

在我们之前的文章 “Beats: 使用 Filebeat 进行日志结构化”,我使用了一种方法来解析一个 JSON 格式的文件,并导入到 Elasticsearch 中。在今天的文章中,我来用另外的一种方式来展示如何导入一个 JSON 格式的文件。准备数据我们还是以之前的那篇文章中的数据为例,我们使用如下的文件:sample.json{"user_name": "arthur", "id": 42, "verified": false, "event": "logged_in"}{".

2020-09-09 22:49:41 618

翻译 Elastic:在 Elasticsearch ingest 处理器中调试损坏的 grok 表达式

在之前的文章: Elastic:在摄入时使用 grok 构建 Elasticsearch 数据以加快分析速度 Logstash:如何逐步构建自定义 grok 模式 但是如果我们的模式不能正常工作,那该如何处理呢?在本文中,我们将使用 Kibana 的 Grok Debugger 来帮助我们调试损坏的 grok 模式。 如下所述的分治法应该可以帮助你快速找到给定的 grok 模式与你的数据不匹配的原因。 调试 grok 模式并使其正常工作将使你能够构建数据结构,这将确保你的可观察性和安

2020-09-08 22:45:16 279

原创 Kibana:如何周期性地为 Dashboard 生成 PDF Report

Kibana 中的 Dashboard 给我们直观的数据展示。在实际的工作中,可以用于汇报。在 Kibana 中,我们可以来生成我们想要的 PDF report。我们可以手动来生产这样的 report,但是它可能变得非常麻烦,那么我们有什么办法可以使得这个过程变得自动化呢?在今天的教程中,我们来讲述如何使用 watcher 来实现这个过程的自动化。watcher 在这个场景中的使用是白金版功能的一部分,请参阅https://www.elastic.co/cn/subscriptions。准备数据..

2020-09-07 17:17:43 679

原创 Elasticsearch:创建 Ingest pipeline

在 Elasticsearch 针对数据进行分析之前,我们必须针对数据进行摄入。在摄入的过程中,我们需要对数据进行加工,这其中包括非结构化数据转换为结构化数据,数据的转换,丰富,删除,添加新的字段等等一系列的工作。针对目前 Elastic 公司所提供的工具来看,我们有两种方法来针对数据进行加工:Logstash 已经 Ingest pipeline。 这两种方法各有优缺点:Logstash:是一种开源的 Elastic Stack ETL (Ext...

2020-09-03 10:53:35 1168

原创 Elasticsearch:反向代理及负载均衡在 Elasticsearch 中的应用

在我们配置 Elasticsearh 安全的时候,我们可以考虑三个方面的东西:firewalls 反向代理 (reverse proxies) Elastic Security我们可以利用 firewall 已经 IP filtering来限制或允许特定的 IP 地址来访问我们的 Elasticsearch。对于 OSS 的用户来说,他们可以使用 reverse proxy 的方法来实现最基本的安全配置。当然对于 Baisic license 以上的用户来说,我们建议使用 Elastic Se..

2020-09-02 18:45:55 1572

原创 Elasticsearch:Painless execute API

Painless execute API 允许执行任意脚本并返回结果。请注意的是:这个 API 是新的,请求方式及响应在未来可能会有所改变。ContextContext 也即是上下文的意思。Context 控制了脚本如何执行,在运行时可以使用哪些变量,返回类型是什么。Plainless test context这是默认的 context。painless_test 上下文按原样执行脚本,并且不添加任何特殊参数。 唯一可用的变量是 params,可用于访问用户定义的值。 脚本的结果总是转.

2020-09-02 10:57:16 682

原创 Elasticsearch:如何在搜索中实现 should_not 过滤器

在 Elasticsearch 中,我们可以使用 bool query来说实现一种组合的查询。它可以具有如下的一种形式的搜索:POST _search{ "query": { "bool" : { "must" : { "term" : { "user.id" : "kimchy" } }, "filter": { "term" : { "tags" : "production" } }, "m.

2020-09-01 18:19:36 1083

images.tar.gz

Pictures for tutorials

2014-09-10

Ubuntu Core知识分享

介绍Ubuntu及其开发流程

2016-12-26

Ubuntu core introduction

介绍Ubuntu Core, snapcraft,Ubuntu Core安全,商店

2016-08-31

Scope开发介绍

在文档中介绍最新的在Ubuntu手机平台上的Scope开发知识

2015-06-29

Ubuntu上的HTML5开发

本文档介绍了如何在Ubuntu平台上开发HTML5的应用

2015-03-18

online account workshop

Ubuntu平台上的online account介绍

2015-02-03

Ubuntu手机介绍

介绍Canonical公司,Ubuntu手机平台,SDK。重点介绍Ubuntu手机平台上的Scope技术。

2015-01-16

Ubuntu应用开发

在这个文档中介绍如何在Ubuntu平台上开发应用

2015-01-04

Scope技术开发

这篇文章介绍了如何在Ubuntu平台上开发Scope。

2015-01-04

Elastic 中国社区官方博客的留言板

发表于 2020-01-02 最后回复 2020-08-03

空空如也
提示
确定要删除当前文章?
取消 删除