原创 Enterprise:创建 meta 引擎来扩展你的 App search 体验
原力计划

在之前的文章 “Elastic App Search 入门”,我详细地介绍了 Elastic Enterprise Search 里的 App Search。如果你对 Elastic App Search 还不太了解的话,那么请先阅读那篇文章。在这里我假设你已经熟悉了那里的介绍的内容。 在今天的...

2020-05-28 21:20:11 248 0

原创 Elasticsearch:shard 分配感知

您可以将自定义节点属性用作感知属性,以使Elasticsearch在分配分片时考虑物理硬件配置。 如果Elasticsearch知道哪些节点在同一台物理服务器上,在同一机架中或在同一区域中,则它可以分发主分片及其副本分片,以最大程度地减少发生故障时丢失所有分片副本的风险。 通过cluster.r...

2020-05-28 08:02:11 3005 0

翻译 Elasticsearch:使用布尔查询提高搜索的相关性

当你在Elasticsearch中执行搜索时,将对结果进行排序,以便与你的查询相关的文档排名很高。 但是,可以认为与一个应用程序相关的结果肯针对另一应用程序就没有那么相关。 由于Elasticsearch超级灵活,因此可以对其进行微调以提供针对你特定用例的最相关的搜索结果。 调整结果的一种相对直接...

2020-05-27 20:47:29 309 0

原创 Elastic:运用 Elastic Stack 分析 Spring boot 微服务日志 (二)
原力计划

在我之前的文章“Elastic:运用 Elastic Stack 分析 Spring boot 微服务日志 (一)”,我详细讲述了如何使用如下架构来进行对 Spring boot 应用进行日志分析: 细心的开发者可能已经发现:我们的 Logstash 的配置文件每次只配置一个 log 文件,...

2020-05-26 20:11:58 334 0

原创 Elastic:运用 Elastic Stack 分析 Spring boot 微服务日志 (一)
原力计划

在我们的很多 Java 应用开发中,我们有通常很多的日志信息。这些日志信息对我们的开发非常有用。它可以帮我们对我们的应用的运行情况进行分析,特别是在应用运行出现错的时候。在传统的开发中,我们可能会使用一些编辑器来查看这些日志。这对于一个这样的应用是可行的,但是假设我们有多个正在运行的应用程序,并且...

2020-05-26 12:36:02 476 0

原创 Elasticsearch:添加 metadata 到 mapping 中

a

2020-05-25 14:23:43 252 0

原创 Observability: 使用Elasticsearch,Kibana,Heartbeat监控网站并使用Slack发出警报
原力计划

在之前的文章“使用Heartbeat进行Uptime监控”中,我介绍了使用 Uptime 来监控一个网站的运行情况。在之后的很多文章中我也介绍了如何使用 Elastic Alerts 来发送一个警报。如果你想了解更多,请参阅文章“Elastic: 创建一个 Elastic 邮件警报 - 7.7 发...

2020-05-24 21:59:29 834 0

原创 Elastic:创建你的第一个Elastic alert - Webhook
原力计划

在Elasticsearch可以提供给我们数据的存储及快速的搜索,但是如果能够实时地根据一些条件来发送警报则对我们的应用来说将会非常地有用。在今天的文章中,我们将讲述如何使用API的方法利用Elasticsearch来生成Webhook警报。在之前我有两个教程来讲述如何在Elastic中发送警报:...

2020-05-23 13:05:31 361 0

原创 Beats:使用Filebeat传送多行日志
原力计划

在解决应用程序问题时,多行日志为开发人员提供了宝贵的信息。 堆栈跟踪就是一个例子。 堆栈跟踪是引发异常时应用程序处于中间的一系列方法调用。 堆栈跟踪包括遇到错误的相关行以及错误本身。 可以在此处查看Java堆栈跟踪的示例: Exception in thread "main"...

2020-05-22 11:04:15 454 0

原创 Elasticsearch:Transforms 介绍
原力计划

Transforms 使您能够从Elasticsearch索引中检索信息,对其进行转换并将其存储在另一个索引中。 让我们使用Kibana示例数据来演示如何使用变换来透视和汇总数据。

2020-05-21 20:37:33 461 0

原创 如何在 Ubuntu 启动时运行一个脚本

在很多时候,我们搭建一个服务器的时候,希望在里面运行一些服务。这些服务需要在机器启动的时候就运行起来,直至机器关机。在今天的文章中,我来介绍如何使用 Linux 系统提供的Systemd服务单元来创建一个可以在机器启动时就运行一个脚本。这个练习在Ubuntu 18.04及Ubuntu 20.04上...

2020-05-21 11:22:19 313 0

原创 Elasticsearch:运用shard filtering来控制索引分配给哪个节点

在我们的实际部署中,我们的各个node(节点)的能力是不一样的。比如有的节点的计算能力比较强,而且配有高性能的存储,速度也比较快,同时我们可能有一些node的能力稍微差一点,比如计算能力及存储器的速度都比较差一点。针对这两种情况,我们其实可以把这两种节点用来做不同的用途:运算能力较强的节点可以用来...

2020-05-19 17:10:18 490 0

原创 Elasticsearch:rollup - 索引管理
原力计划

汇总作业 (rollup jobs)是一项定期任务,它将来自索引模式指定的索引中的数据进行汇总,然后将其汇总到新的索引中。 汇总索引是紧凑存储数月或数年历史数据以供可视化和报告使用的好方法。用到rollup的情况是我们有很多的历史数据,而且通常会比较大。通过使用 rollup 功能,我们可以把很多...

2020-05-19 17:00:41 963 0

原创 Elastic: 创建一个 Elastic 邮件警报 - 7.7 发行版
原力计划

在之前的文章“创建一个Elastic alert - 7.7 发布版”,我介绍了如何使用 Elastic 在7.7发布版中使用免费的功能来发送警报到一个索引或者到Server log里去。在今天的文章中,我们将详细讲述如何把通知发送到一个邮件中。在 Elastic 的白金版订阅中,它提供如下的方式...

2020-05-18 12:10:52 347 4

原创 Elastic:创建一个Elastic Log 及 Index alert - 7.7 发布版

我们很高兴宣布一个新的警报框架,该框架可作为Kibana 7.7版本的一部分,在SIEM,Uptime,APM和Metrics应用程序中提供一流的警报体验。 警报是整个Elastic Stack的基本用例,这就是为什么我们将其纳入Kibana的核心体验。 无论你是监视应用程序事务还是跟踪暴力登录...

2020-05-15 16:15:14 422 0

转载 Elastic Workplace Search:崭新的统一工作方式

各个团队,庆祝吧!我们今天无比兴奋地宣布推出 Elastic Workplace Search 的正式版,这是一个统一搜索平台,适用于各种规模和视野的公司/组织。作为Elastic 企业搜索解决方案的最新成员,Workplace Search 致力于打造现代搜索体验,从而协助人们达成每个协作决策,...

2020-05-14 09:24:17 219 0

转载 Elastic Stack 7.7.0 重磅发布

我们非常高兴地宣布 Elastic Stack 7.7 版正式发布了。与大部分 Elastic Stack 版本一样,7.7 中也推出了大量更新。但最让我们感到骄傲的并不是这些新功能,而是成功开发出这些功能的团队。在平常时候,推出这样一个包含丰富功能的版本已实属不易。鉴于我们目前所处的充满不确定性...

2020-05-14 09:17:47 427 0

原创 Elasticsearch:如何使用 Elasticsearch ingest 节点来丰富日志和指标
原力计划

当导入数据到Elasticsearch中时,用其他信息丰富文档通常是有益的,这些信息以后可用于搜索或查看数据。丰富化是将权威来源的数据合并到文档中的过程,这些数据被摄入到Elasticsearch中。 例如,可以使用GeoIP处理器来进行扩充,该处理器可以处理包含IP地址的文档,并添加有关与每个...

2020-05-13 16:02:04 246 0

原创 Elasticsearch:运用 geoip 处理器来丰富数据

geoip处理器根据来自Maxmind数据库的数据添加有关IP地址地理位置的信息。 默认情况下,该处理器将此信息添加到geoip字段下。 geoip处理器可以解析IPv4和IPv6地址。 默认情况下,ingest-geoip模块与Maxmind的GeoLite2 城市,GeoLite2国家/地区...

2020-05-13 14:47:53 269 0

原创 Elasticsearch:创建一个Elasticsearch Ingest 插件
原力计划

在前面的一篇文章“Elasticsearch:创建属于自己的Ingest processor”中,我相信地介绍了如何使用一个模板来创建 Ingest 插件。在今天的文章中,我们使用另外一个方法来做同样的事。我们将使用eclipse来生成一个maven的项目。 前言 Elasticsearch是...

2020-05-13 09:42:08 226 0

原创 Elasticsearch:创建属于自己的Ingest processor
原力计划

自Elasticsearch 5.0开始,你可以使用 ingest node实际建立索引之前对文档进行预处理。 此预处理由ingest node进行,该 ingest node 节点拦截批量 ( bulk )和索引请求,应用转换,然后将文档传递回索引或批量API。这极大地提供了 Elasticse...

2020-05-12 21:25:25 283 3

原创 Logstash:Logstash 入门教程 (二)
原力计划

这是之前系列文章“Logstash:Logstash 入门教程 (一)”的续集。在之前的文章中,我们详细地介绍了Logstash是什么?在今天的文章中,我们将详细介绍如果使用Logstash,并把Apache Web log导入到Elasticsearch中。在这篇文章中,我们将触及到如下的过滤器...

2020-05-08 11:01:37 1218 6

原创 Logstash:Logstash 入门教程 (一)
原力计划

Logstash是一个功能强大的工具,可与各种部署集成。 它提供了大量插件,可帮助你解析,丰富,转换和缓冲来自各种来源的数据。 如果你的数据需要Beats中没有的其他处理,则需要将Logstash添加到部署中。 Logstash是Elastic栈非常重要的一部分,但是它不仅仅为Elastic...

2020-05-07 16:41:06 944 0

原创 Beats:创建你自己的Beat
原力计划

Beats是构建轻量级开源数据采集器的平台,该采集器将各种数据发送到Elasticsearch供以后分析。 我们有Packetbeat来监视服务器之间交换的网络流量,还有Filebeat来从服务器获取日志,还有新Metricbeat,Metricbeat定期从外部系统获取度量。 如果需要收集其他自...

2020-05-07 11:06:06 918 0

原创 Beats:最佳实践
原力计划

Elastic Beats是你作为代理安装在服务器上的开源数据摄入器,用于将运营数据发送到Elasticsearch。 Elastic提供Beats来捕获: Audit data Auditbeat Log files Fi...

2020-05-05 21:48:34 348 0

原创 Logstash:Grok filter 入门
原力计划

有效分析和查询送入ELK堆栈的数据的能力取决于信息的可读性。 这意味着,当将非结构化数据摄取到系统中时,必须将其转换为结构化消息行。 通常,这个忘恩负义但至关重要的任务留给Logstash(尽管还有其他日志传送器可用,请参阅我们对Fluentd与Logstash的比较作为一个示例)。 无论您定义...

2020-05-04 20:23:14 442 0

原创 Elastic:运用Elastic Stack对Kubernetes进行监控 (五)
原力计划

Elastic APM是基于Elastic Stack构建的应用程序性能监视系统。 它使你可以实时监视软件服务和应用程序-收集有关传入请求,数据库查询,对缓存的调用,外部HTTP请求等的响应时间的详细性能信息。 这样可以轻松快速地找出并解决性能问题。 Elastic APM适配OpenTraci...

2020-05-02 20:49:15 221 0

原创 Elastic:运用Elastic Stack对Kubernetes进行监控 (四)

在今天的这篇文章中,我们现在将安装Filebeat,它是一个轻量级的代理,可以在k8s环境(节点和pod日志)中收集日志数据并将其转发到ElasticSearch。 此外,可以将特定模块配置为解析和可视化来自常见应用程序或系统(数据库,消息总线)的日志格式。 配置 与Metricbeat相似,...

2020-05-02 19:51:50 259 0

原创 Elastic:运用Elastic Stack对Kubernetes进行监控 (三)
原力计划

Metricbeat是安装在服务器上的轻量级的摄入器,用于定期从主机和运行的服务中收集指标。 这代表了监视我们的堆栈的可观察性的第一支柱。 默认情况下,Metricbeat捕获系统指标,但还包括大量模块,以捕获有关服务的特定指标,例如代理(NGINX),消息总线(RabbitMQ,Kafka),...

2020-05-02 19:25:15 253 0

原创 Elastic:运用Elastic Stack对Kubernetes进行监控 (二)
原力计划

在今天的文章中,我们将描述如何在Kubernetes中安装Elasticsearch及Kibana,并利用它们来存储数据并可视化被监控的数据。 Elasticsearch集群 如上一篇文章中所述,要使用Elastic技术设置监视堆栈,我们首先需要部署Elasticsearch,它将充当数据...

2020-05-02 18:46:36 201 0

原创 Elastic:运用Elastic Stack对Kubernetes进行监控 (一)
原力计划

在本文中,我们将学习如何为您的Kubernetes环境(简称k8s)设置监视堆栈。 这种解决方案使您的团队可以在几乎不影响现有资源的情况下获得对基础架构和每个应用程序的可见性。 可观测性的目的是向负责生产的操作员提供工具,以检测不良行为(服务停机,错误,响应速度慢),并提供可操作的信息以查找问题...

2020-05-01 20:56:15 312 0

提示
确定要删除当前文章?
取消 删除