ES8生产实践——数据查询与数据可视化(Grafana)

最新推荐文章于 2024-07-22 20:22:10 发布
最新推荐文章于 2024-07-22 20:22:10 发布
阅读量2.6k 收藏 18
点赞数 5
分类专栏： ELK Stack 文章标签： grafana elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33816243/article/details/132352589
版权

ES数据可视化除了使用kibana外，grafana也是常用的数据可视化工具。相较于kibana来说，grafana支持的图表样式等配置项更多，可以根据自己的需求灵活制作出各种复杂的图表，相应的上手难度略高于kibana。使用Grafana的好处是将来如果使用Prometheus监控，可以将业务日志图表与服务性能监控组合展示，可以按不同的dashboard设置权限方便不同组的用户查看与编辑。接下来让我们一起上手使用grafana，实现数据查询与图表制作。

grafana部署与配置

部署grafana

为方便演示，此处使用docker命令快速部署grafana服务。

# docker run --name=grafana --net elk -d -p 3000:3000 --restart always grafana/grafana:10.0.3

修改为中文

# 拷贝grafana配置文件
docker cp grafana:/usr/share/grafana/conf/defaults.ini .

# 修改grafana配置，default_language改为zh-Hans
vim defaults.ini
# Default UI language (supported IETF language tag, such as en-US)
# default_language = en-US
default_language = zh-Hans

# 替换容器配置文件
docker cp defaults.ini grafana:/usr/share/grafana/conf  

# 重启容器
docker restart grafana

容器运行后，我们访问本机ip:3000端口即可，初始用户名和密码都是admin，然后页面跳转强制修改密码。
image.png

添加数据源

接下来我们添加类型为elasticsearch的数据源
image.png
数据源配置如下所示
image.png

数据查询

grafana同样也支持数据查询功能，但功能可选项略逊于kibana。

数据视图

点击grafana菜单——>Explore，即可跳转至数据浏览页面
image.png
需要注意的是该页面仅用于临时数据查询和折线图查看，不能保存视图设置。如果想要经常查询指定条件的数据，可以在dashboard中新建图表。

筛选时间范围

与Kibana类似，grafana的所有图表也是依赖时间范围的，可以点击右上角的时间按钮选择时间范围
image.png

条件查询过滤

例如我们需要查询access_status字段值为400的内容，我们只需要在query输入框输入查询条件即可。grafana支持所有的URI Search查询，例如常见的关键字查询、布尔查询、逻辑AND OR查询、大于小于等于、正则查询等都支持，我们只需要将查询语句填写到Query数据框即可，具体可参考博客文章：https://www.cuiliangblog.cn/detail/article/44
image.png

查询汇总数据

除了查询数据外，grafana也支持大多数query DSL的数据聚合查询，例如我们可以查询最近15分钟，request_method为GET的记录中，按access_status字段分组，统计每组的个数。
image.png

结果导出

点击inspector按钮，选择需要导出的列数据，即可导出CSV格式报告。
image.png

dashboard与图表制作

在grafana中，我们也可以创建数据看板，以我们的自定义日志为例演示可视化分析效果。
image.png

全局变量

我们在查看数据时，经常需要使用全局变量，例如时间间隔，指定条件的数据等，在grafana中配置如下
image.png
以时间间隔为例，变量的可选项手动输入，配置如下
image.png
以请求状态码为例，这个变量的结果是从es中查询获得，配置如下：
image.png
image.png

图表类型

grafana同样也支持非常多的图表类型，在制作图表时，建议大家可以先使用time series调试查询语句配置，待查询语句配置无误后，再选择其他类型的图表，grafana会自动转换图表样式。
image.png

查询配置

es常用的url search和聚合查询grafana都支持，在查询语句配置区可根据自己的需要调试查询语句，如果对查询结果有疑问，点击Query inspector可以查看自动生成的查询语句，再反过来调试查询语句配置。
image.png
例如我们需要在一个图表中显示访问量(指定时间段内文档的count数)和访问IP(按remote_address字段聚合，统计不同的值出现的次数)，查询配置如下：
image.png

图表配置

右侧为图表配置区，常用的配置如下
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png

效果图

grafana的图表配置项很多，虽然官方文档对每个配置项功能都有解释，但在作图时参考意义并不大。还是建议多尝试点击切换各个选项查看效果，积累更多经验才能快速按需求做出合适的图表。最终制作的dashboard效果如下所示：
myapp.png
dashboard已导出为json文件方便大家导入grafana查看，json文件地址：https://gitee.com/cuiliang0302/log_demo/blob/main/other/grafana%20dashboard/myapp-dashboard.json

地理热力图制作

grafana同样也支持地理位置数据可视化分析显示。

查询配置

在前面的Logstash配置中，我们使用了geoip插件，它可以根据IP地址解析出对于的经纬度信息，并将geoip的location字段类型设置为geo_point，在查询语句中，类型改为Geo Hash Grid，字段为geoip.lacation，2维数组。
image.png

显示配置

grafana地理位置显示配置项较多，我们只需要按下图参数设置就可以正常显示热力图，接下来根据自己的需求调整样式即可。如果想了解各个配置项含义可参考官方文档地址：
https://grafana.com/docs/grafana/latest/panels-visualizations/visualizations/geomap/
image.png

查看更多

微信公众号

微信公众号同步更新，欢迎关注微信公众号《崔亮的博客》第一时间获取最近文章。

博客网站

崔亮的博客-专注devops自动化运维，传播优秀it运维技术文章。更多原创运维开发相关文章，欢迎访问https://www.cuiliangblog.cn

崔亮的博客
关注
  • 5
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
grafana结合es查询语法
weixin_44141000的博客
12-28 1万+
一、类别变量（模板使用） {“find”: “fields”, “type”: “keyword”} 例子：{“find”: “fields”, “type”: “long”} 查找类型为 long 的字段。 {“find”: “terms”, “field”: “@hostname”, “size”: 1000} 例子：{“find”: “terms”, “field”: “timestamp”, “size”: 1000} 返回字段名称为 timestamp 的列表，大小为1000。 {“find”:
在Grafana中使用Elasticsearch
热门推荐
forrest420的专栏
11-26 1万+
文章参考：Elasticsearch | Grafana Labs Grafana 附带对 Elasticsearch 的高级支持。 您可以执行多种类型的简单或复杂的 Elasticsearch 查询来可视化存储在 Elasticsearch 中的日志或指标。 您还可以使用存储在 Elasticsearch 中的日志事件来注释您的图表。 添加数据源 1. 单击顶部标题中的 Grafana 图标打开侧边菜单。 2. 在 Dashboards 链接下的侧边菜单中，您应该找到一个名为 Data Sou.
grafana+prometheus合理处理查询结果为空的情况
R★F的博客
11-22 2033
返回结果为Empty query result的时候，上述的显示图就不会在panel中，因为没有数据，整个panel面板就是空的，而我想要的结果是即使是空的，也可以显示主机名，并且状态置为红色，以便一眼就能看出哪些服务器的文件系统掉了。这种方式解决的非正常计算节点的问题，此时只需要设置返回结果的阈值，例如挂载文件系统容量为10T，根文件系统为500G，若查询结果为500G，则设置查询结果小于等于500G时，显示红色，也可以达到目的。这样的结果也不是想要的，最终结果是想要呈现lustre文件系统的挂载状态。
Elasticsearch基础（六）：使用Kibana Lens进行数据可视化
最新发布
Lansonli（蓝深李）的博客
07-22 1344
标题填写Delayed flights，选中保存后添加至Dashboard，单击保存并返回，此可视化将立即被添加到仪表板中。完成以上操作后，用户已经成功体验了Kibana Lens灵活的数据可视化功能，在仪表板中创建了条形图、表格、圆环图和树状图等可视化视图。拖动FlightDelay字段到页面中间的可视化区域，创建一个包含计数的可视化。单击右上角保存，标题为Flights Dashboard，单击保存。Lens允许创建多个图层，并允许将多个数据源中的数据组合到一个可视化中。单击右上角的保存，保存仪表板。
Grafana系列-统一展示-8-ElasticSearch日志快速搜索仪表板
east4ming的博客
05-13 1556
我们是基于这篇文章:Grafana 系列文章（十二）：如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板, 创建一个类似的, 但是基于 ElasticSearch 的日志快速搜索仪表板.最终完整效果如下:📝Notes其实我基于 ElasticSearch 做了2个仪表板用于检索 Applog 的用于检索 accesslog 的在下面的讲解中会综合2个仪表板来进行说明.这次不会讲述详细细节, 只选择部分关键点进行说明.这个选项只有在选择了时才可见。
es配合garafana监控（python）
weixin_40368523的博客
08-14 855
es配合garafana监控 $cat es_grafana_monitor.py #!/usr/bin/env python import datetime import time import json # import urllib2 import os import sys import re from elasticsearch import helpers from elasticsearch import Elasticsearch interval = int(os.environ.ge
【大数据】Grafana整合ElasticSearch数据源绘制Dashboard展示
qq_35789269的博客
11-25 2619
1> 上图中index name为单一索引，按天生成，例如：索引名为：es-gateway-log-2022-03-15，所以配置时，index name配置为 [es-gateway-log-]YYYY.MM.DD，Pattern选择的值为Daily，若索引为按月生成，则index name配置为 [es-gateway-log-]YYYY.MM，Pattern选择的值为Monthly。例如：计算在一定时间段内，服务处理请求的成功率和失败率(这里以successFlag字段作为筛选条件)
Grafana系列-统一展示-7-ElasticSearch数据源
east4ming的博客
05-12 1277
你可以进行多种类型的查询，以可视化存储在Elasticsearch中的日志或指标，并使用存储在Elasticsearch中的日志事件对图表进行注释。使用索引设置来指定时间字段的默认值和你的Elasticsearch索引的名称。这个 Data Links 比较在这里比较常见的配置是从 ES 的 Logs 通过。数据链接从一个指定的字段创建一个链接，可以在 Explore 的日志视图中访问。以确定在Explore中可视化日志时，数据源对日志信息和日志级别使用哪些字段。本文由东风微鸣技术博客。
Grafana配置es数据源
forrest420的专栏
11-11 6720
ES版本：elasticsearch-7.15.2 Grafana版本：grafana-8.1.2 Mac安装ES 安装es参考Install Elasticsearch from archive on Linux or MacOS | Elasticsearch Guide [7.15] | Elastic 建议：指定data和logs目录 启动 cd elasticsearch-7.15.2;./bin/elasticsearch -d -p pid 验证 curl h.
ES8.8生产实践——数据查询与数据可视化(Kibana)
qq_33816243的博客
08-17 4002
在前面的案例中，我们顺利的通过各种方式完成了数据的采集过滤与存储，接下来我们通过kibana实现数据的查询与可视化，用图形的方式从各个维度更加直观有效的展示数据内容。
Elastic：使用 Grafana 监视 Elasticsearch_grafana elasticsearch(1)
2401_84248479的博客
04-15 1255
为了说明问题的方便，我把两个 Elasticsearch 的地址都设置为 http://localhost:9200，也就是说从 http://localhost:9200 采集数据并把数据存于到 http://localhost:9200 的索引中。我们使用一个 python 的脚本来收集被监视的 Elasticsearch 的指标数据，并把这些指标数据存于到一个 Elasticsearch 的索引中去。等我们的 Grafana 启动后，我们可以看到如下的画面。安装完后，我们可以在浏览器的链接地址。
grafana-elasticsearch-dashboard
04-27
用于Elasticsearch的Grafana仪表板 该仪表板需要并与之完美配合，它为所有指标提供完整的图表，将相关图表按行分组在一起，并根据其重要性排列图表。 安装 您可以直接在上下载json文件，也可以尝试最新版本的仪表板。 之后，只需按照导入仪表板。 截屏
2019年欧洲车身会议蔚来ES8_Benchmark数据.pdf
01-21
2019年欧洲车身会议蔚来ES8_Benchmark数据
node-express-es8：使用最佳实践使用Nodejs Express和Es8编写的样板代码
02-03
Node.js-Express，MongoDB，ES8 REST API样板 产品特点 使用 没有转译器，只有带有ES2018最新功能（例如Async / Await）的原始javascript Express + MongoDB（） 已启用CORS，并使用设置一些HTTP标头以确保安全性...
海量数据高并发场景，构建Go+ES8企业级搜索微服务
10-17
视频课程下载——海量数据高并发场景，构建Go+ES8企业级搜索微服务
ES8新特性——async、await、对象方法拓展
weixin_51042892的博客
03-06 182
async函数和await表达式 async无论返回什么类型的数据都是返回promise对象，除了返回promise对象，则其返回的对象的状态根据子对象的返回状态决定 async function fn(){ // return 'zy'; //Promise {<fulfilled>: 'zy'} //return ;//Promise {<fulfilled>: undefined} return new
ElasticSearch学习问题记录——nested查询不到数据
weixin_30596735的博客
12-25 1190
通过代码创建了索引名称为demoindex，索引类型为school，以下是索引类型的数据映射结构： { "state": "open", "settings": { "index.number_of_replicas": "1", "index.number_of_shards": "5", "index.versio...
grafana使用es数据源变量的使用
FJJJJJ
01-06 2461
grafana使用
[Impala]impala监控任务 用es+grafana实现监控
Mrerlou的博客
05-12 3474
一、前言 目前要对impala执行的任务进行监控，目前采用的是用python每10分钟请求Cloudera Manager的数据，然后发送到es，配合grafana进行展示。 大致的架构图如下： 二、impala 任务REST API 首先要知道CM 关于 impala 任务的rest api是什么才能进行后续的工作。 1. cm的rest api 文档 通过cm界面可以很快的找到cm的api文档 2. 在api文档中找关于impala 的api 下面这些就是和impala 相关的api /clust
springboot集成ES8,聚合查询
09-14
您好！对于在Spring Boot中集成Elasticsearch 8并进行聚合查询的问题，您可以按照以下步骤进行操作： 1. 添加Elasticsearch依赖：在您的Spring Boot项目的pom.xml文件中，添加Elasticsearch的依赖项。例如： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> ``` 2. 配置Elasticsearch连接：在application.properties（或application.yml）文件中，配置Elasticsearch的连接信息。例如： ```properties spring.elasticsearch.rest.uris=http://localhost:9200 ``` 3. 创建Elasticsearch实体类：创建一个Java类来表示您要索引到Elasticsearch中的数据。例如： ```java @Data @Document(indexName = "your_index_name", shards = 1, replicas = 0) public class YourEntity { @Id private String id; private String field1; private String field2; // ... } ``` 4. 创建Elasticsearch仓库：创建一个继承自ElasticsearchRepository的接口，用于与Elasticsearch进行交互。例如： ```java public interface YourEntityRepository extends ElasticsearchRepository<YourEntity, String> { } ``` 5. 执行聚合查询：在您的业务代码中，使用ElasticsearchTemplate或ElasticsearchOperations来执行聚合查询。例如： ```java @Autowired private ElasticsearchOperations elasticsearchOperations; public Aggregations executeAggregationQuery() { NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder() .addAggregation(AggregationBuilders.terms("agg_name").field("your_field")) // 添加其他聚合操作 .withIndices("your_index_name") .withTypes("your_type"); SearchResponse response = elasticsearchOperations.query(queryBuilder.build(), SearchResponse.class); return response.getAggregations(); } ``` 请注意，上述代码仅提供了一个简单的示例，您可以根据自己的需求进行修改和扩展。 希望这些信息对您有所帮助！如果您有任何进一步的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值