ElasticSearch使用过程中遇到的一些问题，已解决！！！

最新推荐文章于 2023-09-13 01:03:43 发布
最新推荐文章于 2023-09-13 01:03:43 发布
阅读量319 收藏
点赞数 1
分类专栏： ElasticSearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48797994/article/details/130175012
版权

情景再现：

需要操作ES数据库来根据时间段以及时刻段和其它条件来查询虚拟机以及宿主机的Cpu以及内存性能数据的平均值。

前提：

  1. ES库中只有timestamp时间戳列
  2. 需要根据虚拟机ID进行分组聚合取到平均值

解决方法:

  1. 先查出时间段内的数据,再根据得到的数据进行解析获得小时数据,从而进行过滤
  2. 修改es库添加小时(hour)字段,使用painless脚本将时间戳timestamp列进行计算得到的小时值直接填充到hour字段中.

详细过程

相比较而言,笔者认为第一种如果数据量过大的话,可能会降低查询效率,所以笔者选择方法2,首先对操作对应缩影,添加hour字段,类型为integer.

这是metric_server 索引的原有mapping
{
  "metric_server" : {
    "mappings" : {
      "properties" : {
        "accountId" : {
          "type" : "keyword"
        },
        "cpuUsage" : {
          "type" : "double"
        },
        "diskIoKbps" : {
          "type" : "double"
        },
        "diskProvisioned" : {
          "type" : "double"
        },
        "diskUsage" : {
          "type" : "double"
        }
        "memoryUsage" : {
          "type" : "double"
        },
        "name" : {
          "type" : "keyword"
        },
        "netIoKbps" : {
          "type" : "double"
        },
        "region" : {
          "type" : "keyword"
        },
        "resourceId" : {
          "type" : "keyword"
        },
        "timestamp" : {
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        },
        "zone" : {
          "type" : "keyword"
        }
      }
    }
  }
}

注意 ! ! !
我们都知道es索引库一旦创建，无法修改mapping,但是可以 添加属性字段 ,所以操作es数据库的时候一定要谨慎.

添加hour字段
PUT /metric_server/_mapping
{
  "properties": {
    "hour":{
      "type": "integer"
    }
  }
}

此时查看metric_server的mapping:

GET metric_server/_mapping
{
  "metric_server" : {
    "mappings" : {
      "properties" : {
        "accountId" : {
          "type" : "keyword"
        },
        "cpuUsage" : {
          "type" : "double"
        },
        "diskIoKbps" : {
          "type" : "double"
        },
        "diskProvisioned" : {
          "type" : "double"
        },
        "diskUsage" : {
          "type" : "double"
        },
        "hour" : {
          "type" : "integer"
        },
        "memoryUsage" : {
          "type" : "double"
        },
        "name" : {
          "type" : "keyword"
        },
        "netIoKbps" : {
          "type" : "double"
        },
        "region" : {
          "type" : "keyword"
        },
        "resourceId" : {
          "type" : "keyword"
        },
        "timestamp" : {
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        },
        "zone" : {
          "type" : "keyword"
        }
      }
    }
  }
}

添加完hour字段之后如果hour字段没有值的话,查询某条文档是没有hour字段的,例如:

GET /metric_server/_doc/_YzDeYYBydXk0jZNg3XC

{
	"_index": "metric_server",
	"_type": "_doc",
	"_id": "_YzDeYYBydXk0jZNg3XC",
	"_version": 9,
	"_seq_no": 825268,
	"_primary_term": 1,
	"found": true,
	"_source": {
		"cpuUsage": 0.6,
		"resourceId": "***********",
		"memoryUsage": 36.79,
		"diskProvisioned": 0,
		"diskIoKbps": 0,
		"accountId": "***********",
		"zone": "***********",
		"name": "***********",
		"diskUsage": 5,
		"region": "***********",
		"netIoKbps": *******,
		"timestamp": 1677080101589
	}
}

小插曲

为了展示hour字段效果,先对文档id为_YzDeYYBydXk0jZNg3XC 的数据插入一个hour数据,此时笔者插入数据时误将hour写成了 houe , 这会导致 当前操作的索引metric_server 的mapping 改变:

{
  "metric_server" : {
    "mappings" : {
      "properties" : {
        "accountId" : {
          "type" : "keyword"
        },
        "cpuUsage" : {
          "type" : "double"
        },
        "diskIoKbps" : {
          "type" : "double"
        },
        "diskProvisioned" : {
          "type" : "double"
        },
        "diskUsage" : {
          "type" : "double"
        }
        "memoryUsage" : {
          "type" : "double"
        },
        "name" : {
          "type" : "keyword"
        },
        "netIoKbps" : {
          "type" : "double"
        },
        "region" : {
          "type" : "keyword"
        },
        "resourceId" : {
          "type" : "keyword"
        },
        "timestamp" : {
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        },
        "zone" : {
          "type" : "keyword"
        }
      }
    }
  }
}

注意 ! ! !
我们都知道es索引库一旦创建，无法修改mapping,但是可以 添加属性字段 ,所以操作es数据库的时候一定要谨慎.

添加hour字段
PUT /metric_server/_mapping
{
  "properties": {
    "hour":{
      "type": "integer"
    }
  }
}

此时查看metric_server的mapping 发现 多了一个houe属性:

GET metric_server/_mapping
{
  "metric_server" : {
    "mappings" : {
      "properties" : {
        "accountId" : {
          "type" : "keyword"
        },
        "cpuUsage" : {
          "type" : "double"
        },
        "diskIoKbps" : {
          "type" : "double"
        },
        "diskProvisioned" : {
          "type" : "double"
        },
        "diskUsage" : {
          "type" : "double"
        },
         "houe" : {
          "type" : "long"
        },
        "hour" : {
          "type" : "integer"
        },
        "memoryUsage" : {
          "type" : "double"
        },
        "name" : {
          "type" : "keyword"
        },
        "netIoKbps" : {
          "type" : "double"
        },
        "region" : {
          "type" : "keyword"
        },
        "resourceId" : {
          "type" : "keyword"
        },
        "timestamp" : {
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        },
        "zone" : {
          "type" : "keyword"
        }
      }
    }
  }
}

玩完,一旦 Elasticsearch 索引的 mapping 建立完成后，就无法直接修改已有的字段类型、分词器等属性。如果你需要修改已有的字段类型或分词器等属性，你需要重新创建一个新的索引，并将数据重新索引到新的索引中。这是因为 Elasticsearch 的索引是不可变的，一旦创建完成后，就无法直接修改。因此，在创建索引时，需要仔细考虑字段类型、分词器等属性，以确保索引的正确性和可扩展性。如果你需要修改索引的 mapping，可以考虑使用 Elasticsearch 的 Reindex API 将数据从旧索引重新索引到新索引中，以避免数据丢失和索引不一致的问题。
但是可以间接的去修改mapping以致达成自己的需求.

方法:按照正确的mapping创建一个索引metric_server1,再使用painless脚本将原索引metric_server的数据复制到现索引metric_server1中, 删除之前的索引metric_server,再使用原索引名metric_server,正确mapping创建一个新索引metric_server,再将metric_server1数据复制到metric_server中即可.

第一步:
PUT /metric_server1
{
      "mappings" : {
      "properties" : {
        "accountId" : {
          "type" : "keyword"
        },
        "cpuUsage" : {
          "type" : "double"
        },
        "diskIoKbps" : {
          "type" : "double"
        },
        "diskProvisioned" : {
          "type" : "double"
        },
        "diskUsage" : {
          "type" : "double"
        },
        "memoryUsage" : {
          "type" : "double"
        },
        "name" : {
          "type" : "keyword"
        },
        "netIoKbps" : {
          "type" : "double"
        },
        "region" : {
          "type" : "keyword"
        },
        "resourceId" : {
          "type" : "keyword"
        },
        "timestamp" : {
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        },
        "hour" : {
          "type" : "integer"
        },
        "zone" : {
          "type" : "keyword"
        }
      }
    }
}


第二步:
POST _reindex
{
  "source": {
    "index": "metric_server"
  },
  "dest": {
    "index": "metric_server1"
  }
}

第三步:
DELETE  /metric_server

第四步:
PUT /metric_server
{
      "mappings" : {
      "properties" : {
        "accountId" : {
          "type" : "keyword"
        },
        "cpuUsage" : {
          "type" : "double"
        },
        "diskIoKbps" : {
          "type" : "double"
        },
        "diskProvisioned" : {
          "type" : "double"
        },
        "diskUsage" : {
          "type" : "double"
        },
        "memoryUsage" : {
          "type" : "double"
        },
        "name" : {
          "type" : "keyword"
        },
        "netIoKbps" : {
          "type" : "double"
        },
        "region" : {
          "type" : "keyword"
        },
        "resourceId" : {
          "type" : "keyword"
        },
        "timestamp" : {
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        },
        "hour" : {
          "type" : "integer"
        },
        "zone" : {
          "type" : "keyword"
        }
      }
    }
}

第五步:
POST _reindex
{
  "source": {
    "index": "metric_server1"
  },
  "dest": {
    "index": "metric_server"
  }
}

第六步:
DELETE  /metric_server1

索引正确创建后,使用painless脚本将timestamp计算成小时填充到hour列:

POST /metric_server/_update_by_query
{
  "script": {
    "source": "if(ctx._source.containsKey('timestamp')){ctx._source.hour = Instant.ofEpochMilli(ctx._source.timestamp).atZone(ZoneId.of('GMT+8')).getHour()}",
    "lang": "painless"
  },
  "query": {
    "match_all": {}
  }
}


  "query": {
    "match_all": {}
  } 笔者在此是查询所有文档,无论hour是否有值都进行更新,此刻可以根据自己的需求进行条件过滤

再次获取文档数据

{
	"_index": "metric_server",
	"_type": "_doc",
	"_id": "_YzDeYYBydXk0jZNg3XC",
	"_version": 9,
	"_seq_no": 825268,
	"_primary_term": 1,
	"found": true,
	"_source": {
		"cpuUsage": 0.6,
		"resourceId": ""***********",
		"memoryUsage": 36.79,
		"diskProvisioned": 0,
		"diskIoKbps": 0,
		"accountId": "***********",
		"hour": 23,
		"zone": ""***********",
		"name": ""***********",
		"diskUsage": 5,
		"region": ""***********",
		"netIoKbps": "********,
		"timestamp": 1677080101589
	}
}
此时hour数据已经更新到所有文档中了,下次只需要再更新数据时将hour填入即可.

以上是这个问题的解决方法,如有问题可私信或者评论区留言.

帆 行
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Elasticsearch】Elasticsearch 100 个常见 问题
九师兄
05-28 1729
1.概述 转载：Elasticsearch 100问(1-30) 第1问-可产品化 问：重启集群后，出现了unassigned shards, 是什么原因： 答：集群的shard数量较多，在节点重启后，由于recovery并发限制，shard分配次数超限，集群就不会在分配shard了，从而出现unassigned shards; 可以使用api对shard进行重新分配：POST _cluster/reroute?retry_failed=true 第2问-可产品化 问：使用ES过程中，出现bulk reje
使用ElasticSearch遇到的一些问题
架构大师笔记
11-02 1万+
https://blog.csdn.net/qq942477618/article/details/53414983 https://www.cnblogs.com/sloveling/p/elasticsearch.html 待总结
es更新部分字段-java实现
talen_hx的博客
03-12 5109
POST esindex/_doc/id/_update { "script" : "ctx._source.bussinesData.remark='test'", } es的restful接口 UpdateRequest updateRequest = new UpdateRequest(dto.getEsIndex(), dto.getId()); Map<String, Object> params = new HashMap<String, Object>(.
elasticsearch遇到的问题(五) 各类问题集合一
iris_csdn的博客
05-17 1929
问题1：链接超时 问题描述用户反馈ES出现连接超时的情况告警，且为偶然现象 原因 用户在连接ES的过程中，连接时长因为网络波动等原因导致连接时间较长从而被设定的相关参数定义为超时而停止连接服务服务 解决方案：https://blog.csdn.net/unix21/article/details/8743537 建议把以下两个参数稍作调整，将其减小一些，让客户端能更快“发现”TCP连接被释放： net.ipv4.tcp_keepalive_intvl net.ipv4.tcp_keepaliv..
（九）elasticsearch常见问题总结
weixin_43930865的博客
09-08 6068
1：分片未分配 使用ES的cat API可以分析出未分配的分片信息及未分配的原因： curl -XGET “http://ip:port/_cat/shards?v&h=index,shard,prirep,state,node,unassigned.reason” | grep UNASSIGNED 解决1：开启重分配命令： curl -XPUT ‘localhost:9200/_cluster/settings’-d ‘{ “transient”: {“cluster.routing.alloc
当es使用script脚本查询聚合等操作遇到空字段报错问题解决方案
IT之一小佬的博客
04-10 2241
当es使用script脚本查询聚合等操作遇到空字段报错问题解决方案
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
在整合MySQL和Elasticsearch的过程中，常常会遇到数据同步不一致的问题，这主要是由于数据库的更新、删除操作未被及时反映到搜索引擎中导致的。针对这种情况，我们可以采取一系列策略来解决这种不对称问题。 首先，...
解决新建一个vue项目过程中遇到的问题
01-22
我就废话不多说了，大家还是直接看代码吧~ /usr/local/bin/node /usr/local/lib/node_modules/npm/bin/npm-cli.js run dev --scripts-prepend-node-path=auto > mytodolists@1.0.0 dev /Users/chenqiurui/...
基于Elasticsearch5.4的常见问题总结
08-28
Elasticsearch 5.4 是一个功能强大的搜索引擎，但是在使用过程中，仍然会遇到一些问题，例如 ES Client 获取慢和内存溢出等问题。解决这些问题需要深入研究 ES 的源码，了解 ES 的工作原理，并且通过设置来控制 ES ...
ES组件elasticsearch-head报错 npm ERR! Please include the following file with any support request
01-20
然而，在使用Elasticsearch的过程中，有时会遇到各种错误，例如与elasticsearch-head组件相关的报错。elasticsearch-head是一款基于浏览器的Elasticsearch管理界面，它方便用户可视化地管理和监控Elasticsearch集群...
Java架构直通车——ElasticSearch深度分页解决方案
01-20
本文将探讨如何解决Elasticsearch的深度分页问题。 ### 分页查询 在Elasticsearch中，分页查询通常通过`from`和`size`参数实现。例如，以下查询语句获取`/shop/_doc`索引中从第0条开始的10条文档： ```json POST ...
Elasticsearch使用过程中的问题总结
wyl9527的博客
12-12 2042
1、es脑裂问题由于某些节点的失效，部分节点的网络连接会断开，并形成一个与原集群一样名字的集群，这种情况成为集群脑裂（split-brain）现象。这个问题非常危险，因为两个新形成的集群会同时索引和修改集群的数据。正常情况下，集群中的所有的节点，应该对集群中master的选择是一致的，这样获得的状态信息也应该是一致的，不一致的状态信息，说明不同的节点对master节点的选择出现了异常——也就是所谓的
es painless 脚本追加嵌套数组对象
freeRoad
08-05 961
在id=1的文档中，给personCerts追加一个对象。这里会存在此文档中之前未录入进personCerts这个字段。可以在追加时做个判断。//这一步去重，防止重复录入。"name" : "哈哈哈",
ES文档字段删除与索引重建
萝卜头柯克船长的博客
09-28 6456
背景 FastJSON序列化 文档删除字段 elasticsearch删除字段 mapping 不能删除字段，只能通过重建。 文档删除字段，通过脚本更新，利用ctx._source.remove(‘fieldName’)删除。 POST waybill_exception_report/_doc/_update_by_query { "script": "ctx._source.remove('targetOperationLocation')", "query": { "bool
ElasticSearch 实践过程中遇到的几个小问题
hellozhxy的博客
01-25 2万+
ulimit “不生效” 有一台机器的在启动 ES 的时候始终报错 1 max file descriptors [65000] for elasticsearch process is too low 但是我已经在/etc/security/limits.conf里增加了如下配置， 1 2 3 4 ela...
生产环境使用elasticsearch遇到的一些问题以及解决方法（不断更新）
热门推荐
云端分布式搜索技术
11-17 7万+
1.由gc引起节点脱离集群      因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。 解决方法： （1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（es参数：ping_retries）和超时时间（es参数：ping_ti
Elasticsearch 遇到的问题汇总
a980150976的专栏
03-14 2072
前段时间一直在研究ES（Elasticsearch简称）集群，故难免会遇到一些问题，现就遇到的问题做下深入的分析和总结。在分析之前我们先对ES集群中涉及到的关键名词进行了解。 一 ES集群比较重要名词解释 1）shards shards指的是索引分片的大小，一个大的索引被分为若干个分片后，存储于不同的节点上以构成分布式搜索。分片不一定是越多越好，分片数量要按自己的
Elasticsearch Scripts总结
蜗牛^_^的博客
07-28 8262
前言 scripts的语法： "script": { "lang": "...", "source" | "id": "...", "params": { ... } } 参数说明： lang:脚本使用的语言，默认是painless。 source：脚本的核心部分，id应用于：stored script。 params：传递给脚本使用的变量参数。 在学习scripts时，发现有许多场景使用，比如update、update-by-query、reindex等，...
一文读懂ElasticSearch中字符串keyword和text类型区别
最新发布
weixin_43412919的博客
09-13 3815
也就是查询条件（广东深圳）会被分词为“广” ，“东”，“深”，“圳”和原始数据“广东深圳”去查询，前面说了，字符串默认是既有text类型，又有keyword类型，没有加keyword，查询的就是text类型的，所以命中了两条数据。但是加了keyword，ES只会去检索keyword类型里存储的数据，不加keyword，ES只会去检索text类型里存储的数据。不出意料，一条也没有命中，原因是term不会分词，不加keyword，ES只会去检索text类型里面的数据，自然匹配不到。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值