【数据库】es

已于 2024-02-22 14:36:00 修改
阅读量1.1k 收藏 11
点赞数 11
文章标签： 数据库 java
于 2024-02-22 13:48:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woshidalao12138/article/details/136232044
版权

新增一条数据:

PUT /xkroot_211111/xkrootType/XqzCv3sBadUEyhUoGKsA
{
  "investigationNo":"W350581B013002021100004",
  "userId":"yNRP2Oe0EeicEgAMKdpT_w",
  "orgCode":"705420347",
  "deviceType":"采集设备名称",
  "companyName":""
}

编辑一条数据：

POST /op_210513/opType/XqzCv3sBadUEyhUoGKsA/_update?pretty
{
  "doc": {
    "appSource":1
  }
}

分组查询：

Map<String, Long> reqLenMap = new HashMap<>();
        QueryBuilder filterBuilder = QueryBuilders.boolQuery()
                .must(QueryBuilders.termsQuery(EsConstants.COLLECT_ID, collectIds))
                .must(QueryBuilders.termsQuery(EsConstants.INTFTP, Arrays.asList("XK", "WJ")))
                .must(QueryBuilders.termQuery(EsConstants.LOGTP, BaseConstants.ONE));
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder()
                .withQuery(filterBuilder)
                .withIndices(EsConstants.INDEX_CSLOG)
                .withSize(BaseConstants.ZERO)
                .addAggregation(
                        AggregationBuilders
                                .terms("cltIdTerms")
                                .field(EsConstants.COLLECT_ID)
                                .shardSize(Integer.MAX_VALUE)
                                .size(Integer.MAX_VALUE)
                                .subAggregation(
                                        AggregationBuilders.sum("lenTerms")
                                        .field(EsConstants.REQLEN)
                                )
                                .shardSize(Integer.MAX_VALUE)
                                .size(Integer.MAX_VALUE)
                );
        SimpleAggregations simpleAggregations = esTemplate.queryForSimpleAggregations(queryBuilder.build());
        if (!simpleAggregations.asMap().isEmpty()) {
            SimpleAggregation simpleAggregation = simpleAggregations.asMap().get("cltIdTerms");
            List<Bucket> buckets = simpleAggregation.getBuckets();
            buckets.forEach(e -> {
                String collectId = e.getKey();
                double reqlen = Double.valueOf(e.getSubAggregation().get("lenTerms").getValue());
                reqLenMap.put(collectId, (long) reqlen);
            });
        }

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

{
  "from" : 0,
  "size" : 0,
  "query" : {
    "bool" : {
      "must" : [
        {
          "terms" : {
            "collectId" : [
              "11111"
            ],
            "boost" : 1.0
          }
        },
        {
          "terms" : {
            "intfTp" : [
              "XK",
              "WJ"
            ],
            "boost" : 1.0
          }
        },
        {
          "term" : {
            "logTp" : {
              "value" : 1,
              "boost" : 1.0
            }
          }
        }
      ],
      "disable_coord" : false,
      "adjust_pure_negative" : true,
      "boost" : 1.0
    }
  },
  "aggregations" : {
    "cltIdTerms" : {
      "terms" : {
        "field" : "collectId",
        "size" : 2147483647,
        "shard_size" : 2147483647,
        "min_doc_count" : 1,
        "shard_min_doc_count" : 0,
        "show_term_doc_count_error" : false,
        "order" : [
          {
            "_count" : "desc"
          },
          {
            "_term" : "asc"
          }
        ]
      },
      "aggregations" : {
        "lenTerms" : {
          "sum" : {
            "field" : "reqLen"
          }
        }
      }
    }
  },
  "ext" : { }
}

更新ElasticSearch:

Map<String,Object> source = new HashMap<>();
source.put(EsConstants.APP_QRCODE_STR, fromUrl);
UpdateRequest request = new UpdateRequest();
request.doc(source);
UpdateQuery updateQuery = new UpdateQueryBuilder().withId(bdDevInstall.getId())
        .withIndexName(bdDevInstall.get_index()).withType(bdDevInstall.get_type()).withUpdateRequest(request).build();
elasticsearchTemplate.update(updateQuery);
elasticsearchTemplate.refresh(EsConstants.INDEX_OP);

2.创建别名索引：

1）创建别名索引

curl -XPUT “http://172.16.73.33:9200/_template/csmulog_template?pretty” -d @./csmulog_template.json -H ‘Content-Type:application/json’

2）编辑模板文件json

3）索引表要加上

curl -i -k -H “Content-type:application/json” -X POST “http://ip:9200/gg_220101/ggType/OphvM34B5mv9fksiv_Mo/_update?pretty” -d ‘{“doc”: {“cDisks”:64}}’

3.修改索引mapping

curl -XPUT “http://172.16.32.138:9200/_template/csmulog_template?pretty” -d @./csmulog_template.json -H ‘Content-Type:application/json’

Operator Filter{fieldName=‘mnSt’, operator=‘$in’, value=[http://99995999.com]}

Operator Filter{fieldName=‘mnSt’, operator=‘$in’, value=[[http://99995999.com]]}

[http://99995999.com]

[eee614ae567583bb31980400a15f9c8c]

[eee614ae567583bb31980400a15f9c8c]

[http://99995999.com]

[http://99995999.com]

And Filter{filters=[Operator Filter{fieldName=‘mnSt’, operator=‘$in’, value=[[http://99995999.com]]}]}

4.语句

GET /xkroot/xkrootType/_search
{
  "query":{
    "match_all":{
      
    }
  }
}

PUT /xkroot_211111/xkrootType/XqzCv3sBadUEyhUoGKsA
{
  "investigationNo":"W350581B013002021100004",
  "userId":"yNRP2Oe0EeicEgAMKdpT_w",
  "orgCode":"705420347",
  "deviceType":"采集设备名称",
  "companyName":""
}
PUT /xkroot_211111/xkrootType/XqzCv3sBadUEyhUoGKsA
{
      "infoRegisterType": "01",
      "collectTargetId": "350103240000120768164710152600007934645338662470573827720",
      "srcId": "rzdEdPku4rmFPIRni0R1rQ",
      "isMainWeb": "0",
      "fileMd5": "d5c2a1fdbe3b64c31e98b135522f2398",
      "url": "http://99995999.com",
      "domainId": "9a076877beabcaeb6090890a6fe08b09",
      "collectId": "d6rdv9rmWN8nAA8GhWWKMA",
      "collectTime": "2022-03-12T08:12:06.000Z",
      "appType": "APP|URL",
      "topAppType": "APP",
      "pAppType": "APP",
      "table": "BdAppUrl"
}

POST /xkroot_211111/xkrootType/XqzCv3sBadUEyhUoGKsA/_update?pretty
{
  "doc": {
    "id":"XqzCv3sBadUEyhUoGKsA"
  }
}

POST /csmulog/_search
{
  "query": {
    "match_all": {} 
  },
  "sort": [
    {
      "updateTime": {
        "order": "desc"
      }
    }
  ],
  "size": 200
}

GET _search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "table": "GgCollectObject"
          }
        }
      ],
      "must_not": [
        {
          "exists":{
            "field":"money"
          }
        }
      ]
    }
  },
  "size": 2000
}
GET _search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "table": "BdAppNetworkBehavior"
          }
        },
        {
          "term": {
            "collectId": "MrF4qrWsHsq1Kqqyr9wscg"
          }
        },{
          "term": {
            "appMd5": {
              "value": "419d7e3c79dbe75c82b5b34d4f90e45a"
            }
          }
        }
      ]
    }
  }
}
GET /cslog/_search
{
  "query": {
    "match_all": {}
  },
  "size": 20,
  "sort": [
    {
      "updateTime": {
        "order": "desc"
      }
    }
  ]
}

GET _template

PUT _template/csmulog_template
{
    "order": 0,
    "index_patterns": [
      "csmulog_*"
    ],
    "settings": {
      "index": {
        "refresh_interval": "30s",
        "unassigned": {
          "node_left": {
            "delayed_timeout": "7d"
          }
        },
        "analysis": {
          "analyzer": {
            "bigrams": {
              "filter": "cjk_bigram",
              "tokenizer": "standard"
            }
          }
        },
        "translog": {
          "flush_threshold_size": "1.5gb",
          "sync_interval": "2m",
          "durability": "async"
        },
        "number_of_replicas": "0",
        "merge": {
          "scheduler": {
            "max_thread_count": "1"
          },
          "policy": {
            "max_merge_at_once": "15"
          }
        }
      }
    },
    "mappings": {
      "csmulogType": {
        "_all": {
          "analyzer": "bigrams"
        },
        "dynamic_templates": [
          {
            "long_count": {
              "mapping": {
                "doc_values": false,
                "type": "long"
              },
              "match": "*_count",
              "match_mapping_type": "long"
            }
          },
          {
            "string_name": {
              "mapping": {
                "doc_values": false,
                "include_in_all": true,
                "type": "text"
              },
              "match": "*_name",
              "match_mapping_type": "string"
            }
          },
          {
            "string_num": {
              "mapping": {
                "doc_values": false,
                "include_in_all": true,
                "type": "text"
              },
              "match": "*_num",
              "match_mapping_type": "string"
            }
          },
          {
            "double_price": {
              "mapping": {
                "doc_values": false,
                "type": "double"
              },
              "match": "*_price",
              "match_mapping_type": "double"
            }
          },
          {
            "date_time": {
              "mapping": {
                "doc_values": false,
                "type": "date"
              },
              "match": "*_time",
              "match_mapping_type": "object"
            }
          },
          {
            "string_bak": {
              "mapping": {
                "doc_values": false,
                "index": "no",
                "type": "keyword"
              },
              "match": "*_bak",
              "match_mapping_type": "string"
            }
          },
          {
            "string_text": {
              "mapping": {
                "include_in_all": true,
                "type": "text"
              },
              "match": "text_*",
              "match_mapping_type": "string"
            }
          }
        ],
        "include_in_all": false,
        "properties": {
          "taskName": {
            "type": "keyword"
          },
          "tableName": {
            "type": "keyword"
          },
          "recordId": {
            "type": "keyword"
          },
          "taskId": {
            "type": "keyword"
          },
          "collectId": {
            "type": "keyword"
          },
          "caseId": {
            "type": "text"
          },
          "oldValue": {
            "type": "text"
          },
          "newValue": {
            "type": "text"
          },
          "operateType": {
            "type": "integer"
          },
          "userIP": {
            "type": "text"
          },
          "userId": {
            "type": "text"
          },
          "updateTime": {
            "type": "date"
          }
        }
      }
    },
    "aliases": {
      "csmulog_query": {},
      "csmulog": {}
    }
  }
  
GET /_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "table": "GjHandsetCall"
          }
        },
        {
          "exists": {
            "field": "startTime"
          }
        }
      ],
      "must_not": [
        {
          "terms": {
            "collectId": [
              "U3o3V6o9CgPqVn236Bp3oA",
              "Kd4C7q3alMdWb-2DPiWFrA",
              "GxKNx0yHg8uw8PRkvJVpvA",
              "It6tixIf6X8l4dpadImKKA",
              "a56FE4JudL_11OrxWsaIRw",
              "5PZm-DCCmHKvIqa1blwEhg",
              "VYowEOyGLrrnclMs-x_frQ",
              "jw8NgFUyAFvvDFB04zPGgA",
              "WuCLBo3bGVKItcRWjKM9xA"
            ]
          }
        }
      ]
    }
  }
}
  
  
GET /gg/_search
{
  "query": {
    "term": {
      "table": {
        "value": "GgScoutInfo"
      }
    }
  },
  "size": 20,
  "sort": [
    {
      "collectTime": {
        "order": "desc"
      }
    }
  ]
}

PUT 172.16.32.138:9200/slog_220111

5.u01空间满了之后，索引自动变为只读

清理空间之后执行

curl -XPUT -H “Content-Type:application/json” http://172.16.32.51:9200/_all/_settings -d ‘{“index.blocks.read_only_allow_delete”:null}’

6.问题分组

1.min_doc_count：在query的json中，可以用于限制分组的数量最少多少

GET hs/_search
{
	"query":{
        "bool":{
            "must":[
                {
                    "term":{
                        "table":{
                            "value":"BdHandSetCall"
                        }
                    }
                }
            ]
        }
    },
    "aggs":{
        "cltIdTerms":{
            "terms":{
                "field":"collectId"
            }
        },
        "aggs":{
            "terms":{
                "field":"friendAccount",
                "min_doc_count":5						// 至少通联过5次								
            }
        }
    }
}

7.reindex

背景：索引的模板一开始就构建好了，后面改不了，所以重新构建一个索引，然后数据迁移过去

方式：

关闭storm入库服务

一、删除旧template，如果没有xpack插件控制权限，删除命令中的-u 'root':'密码' 
curl -XDELETE -u 'root':'密码' '172.16.2.245:9200/_template/op_template?pretty'

 

二、创建新template，当前目录下放新template的json文件op.json
curl -XPUT -u 'root':'密码' 'http://172.16.2.245:9200/_template/op_template?pretty' -d @./op.json

 

三、创建新索引
curl -XPUT -u 'root':'密码' 'http://172.16.2.245:9200/op_211019_2?pretty'

 

四、移数据
curl -XPOST "http://spider01:9200/_reindex" -H 'Content-Type: application/json' -d'
{
  "source":{
    "index":"op_211019"
  },
  "dest":{
    "index":"op_211019_2"
  }
}'

 

五、移动完成后，修改sys_es_index、sys_es_index_record表，保证数据写入新的index
update sys_es_index set name = 'op_211019_2' where alias = 'op';
update sys_es_index_record set name = 'op_211019_2' where alias = 'op';
 

 

启动storm入库服务

8.集群健康red

1、	分析red原因
执行：GET _cluster/allocation/explain?pretty
返回：
	{
      "node_id": "LPSP4kBjRJmHUGnn80tdag",
      "node_name": "elasticsearch2",
      "transport_address": "172.16.31.113:9300",
      "node_attributes": {
        "ml.machine_memory": "33566740480",
        "xpack.installed": "true",
        "transform.node": "true",
        "ml.max_open_jobs": "512",
        "ml.max_jvm_size": "2077753344"
      },
      "node_decision": "no",
      "store": {
        "in_sync": false,
        "allocation_id": "uY0ygDqEQEeUX4E5MRLKkw"
      }
    },
原因：节点决策是no，集群没有分配存储节点。in_sync是false，数据同步也有异常

2、进行reroute重新强制分片，找不到的数据
POST _cluster/reroute?pretty
{
	"commands": [
		{
			"allocate_stale_primary": {
				"index": ".ds-.logs-deprecation.elasticsearch-default-2022.12.13-000007",
				"shard": 0,
				"node": "elasticsearch2",
				"accept_data_loss": true
			}
		}
	]
}
woshicainiao12138
关注
《向量数据库指南》——向量数据库Elasticsearch -＞ Milvus 2.x
LCHub低代码社区
09-21 708
当迁移结束后，我们也可以通过 Attu 来查看迁移成功的总行数，也可以在 Attu 进行 load collection操作；而 collection 主键和 vector 字段建立 autoIndex 索引在迁移过程会自动创建好。除了使用命令方式，项目也支持 Restful api 来执行迁移。关于配置文件更加详细的介绍，请参考项目 README.md。
ES 中 聚合的使用 AggregationBuilders
热门推荐
gavinkelland的博客
04-25 4万+
AggregationBuilders.terms 相当于sql中的group by AggregationBuilders.terms("name").field("id")； 其中 name值自定义，id为需要分组的key ValueCountAggregationBuilder countByFloor = AggregationBuilders.count("count").field(...
ElasticSearch 学习笔记：聚合(Aggregation) - Top Hits
崔显龙的博客
02-21 1万+
聚合后，每一个聚合Bucket里面仅返回指定顺序的前N条数据。
ElasticSearch：Aggregation聚合查询的入门与进阶
u012998680的博客
08-31 8007
目录 桶(Buckets) 指标(Metrics) 将两者结合起来——聚合 常见的聚合查询 聚合查询的使用 1、简单的词频统计 2、数据按时间划分 3、数据按某个字段进行聚合后，再按时间排序 为了掌握聚合，要先了解两个主要概念： Buckets(桶)：满足某个条件的文档集合。 Metrics(指标)：为某个桶中的文档计算得到的统计信息。 就是这样！每个聚合只是简单地由一个或者多个桶，零个或者多个指标组合而成。可以将它粗略地转换为SQL： SELECT COUNT(field) F
es的shard_size
poplarandwillow的博客
11-26 2462
Shard Size 为了提高该聚合的精确度，可以通过shard_size参数设置协调节点向各个分片请求的词根个数，然后在协调节点进行聚合，最后只返回size个词根给到客户端，shard_size >= size，如果shard_size设置小于size，ES会自动将其设置为size，默认情况下shard_size建议设置为(1.5 * size + 10)。 ...
JAVA代码实现ElasticSearch搜索（入门-进阶）(二):聚合函数，group by 分组 ，分桶，桶聚合 bucketing，双重聚合
majunssz的博客
05-24 4737
JAVA代码实现ElasticSearch搜索（入门-进阶）(二):聚合函数 （group by），双重聚合
elasticsearch数据库
03-20
Elasticsearch（简称ES）是一种基于Lucene的开源搜索引擎，它在全文搜索、分析和实时数据存储方面具有出色性能。作为NoSQL数据库的一种，Elasticsearch设计之初的目标就是实现分布式、可扩展且具有高可用性的搜索...
es-index-db:一种从数据库创建Elasticsearch索引的简便方法，并在数据库更新时实时更新索引
05-01
db-river-es 背景 　，深受欢迎的开源分布式搜索引擎，很多场景下，...定位：从数据库创建ElasticSearch全量索引，索引与数据库数据联动，实时更新 关键词：ElasticSearch index / mysql, sqlserver... / real time i
Elasticsearch数据库详解
最新发布
07-05
Elasticsearch数据库详解（文档） 仅供学习交流！ 后续会持续分享相关资源，记得关注哦！ Elasticsearch数据库详解（文档） 仅供学习交流！ 后续会持续分享相关资源，记得关注哦！ Elasticsearch数据库详解（文档...
Elasticsearch服务器开发2.0 - 副本--高清版-es数据库学习.rar
07-22
Elasticsearch服务器开发2.0 高清版pdf，中文版，总共有八章
es的AggregationBuilders.topHits的作用
jifgnie的博客
09-04 621
AggregationBuilders.topHits 用于在 Elasticsearch 中执行聚合查询，并获取每个聚合桶内的顶部文档。//创建一个桶聚合（bucket aggregation），如 terms 聚合，用于分组文档。// 设置返回的文档数目。//将 top_hits 聚合添加到桶聚合中。//创建一个 top_hits 聚合。
ElasticSearch java API - 聚合查询
Drowning in stream
09-20 2万+
Elastic Search Java API 各种聚合（Aggregation）查询的实现
es 分组聚合返回结果不正确
Mrerlou的博客
04-29 2184
问题现象 在对es做group by分组聚合查询时，数据返回不正确，只能显示十条。但是应该有14个分组。 查询语句： GET /hadoop_impala*/_search { "aggs": { "qyeryTypes": { "terms": { "field": "hostId" } } } } 查询结果： "aggregations": { "qyeryTypes": { "doc_count_error_uppe
elasticsearc使用指南之ES管道聚合(Pipeline Aggregation)(1)
2401_83916355的博客
04-14 235
Java面试核心知识点一共有30个专题，足够读者朋友们应付面试啦，也节省朋友们去到处搜刮资料自己整理的时间！Java面试核心知识点《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！图片转存中…(img-h2fZlyt9-1713084337838)][外链图片转存中…(img-UHWuZpLT-1713084337838)]
问题解决：es聚合统计结果不准确
a961634066的博客
04-22 2629
解决方案：调大shard_size值 这个值表示要从分片上拿来计算的文档数量。默认情况下和size是一样的。取得size的值越大，结果会越接近准确，不过很明显会影响性能 {"aggs": { "ip_agg": { "terms": { "field": "ip", "size": num, "shard_size": num * 1000, "order": {
使用ES如何创建子查询 PipelineAggregatorBuilders
u011250186的博客
06-02 1844
对于平时的group by 我们都知道使用 AggregationBuilder 可以解决AggregationBuilder aggregationBuilder = AggregationBuilders.terms("nameAgg").field("name.keyword").size(Integer.MAX_VALUE) //1 .subAggregation(AggregationBuilders.terms("jobAgg").field("job.keyword").size(
Elasticsearch Bucket Aggregations示例
赵英超的博客
02-13 1767
Terms Aggregation 先看看官方给出的例子。 GET /_search { "aggs" : { "genres" : { "terms" : { "field" : "genre" } } } } 响应结果： { ... "aggregations" : { "ge...
亿级规模的Elasticsearch优化实战
weixin_45583158的博客
08-13 1675
本文根据王卫华老师在“高可用架构”微信群所做的《Elasticsearch实战经验分享》整理而成，转发请注明出处。王卫华，百姓网资深开发工程师、架构师，具有10年＋互联网...
Elasticsearch 聚合之 Terms
Looking的博客
12-18 3481
本篇着重讲解的 terms 聚合，它是按照某个字段中的值来分类： 比如性别有男、女，就会创建两个桶，分别存放男女的信息。默认会搜集 doc_count 的信息，即记录有多少男生，有多少女生，然后返回给客户端，这样就完成了一个 terms 得统计。 Terms聚合 { "aggs" : { "genders" : { "terms" : { "field" : "gender" } } } } 得到的结果如下： {
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值