![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Elasticsearch
野生猕猴桃
制怒慎思,明辨笃行。
展开
-
一次elasticsearch集群jvm断路器修复记录
elasticsearch集群熔断,[parent] Data too large, data for [indices:data/write/bulk[s]] would be [27989754原创 2022-06-23 10:11:55 · 1148 阅读 · 1 评论 -
es嵌套聚合查询
GET extensive/_search{ "_source": [ "url", "domain", "title", "content", "language", "category", "crawl_time" ], "query": { "match_all": {} }, "aggs": { "domain_aggs": { "terms": { "field": "do原创 2021-06-22 11:18:19 · 597 阅读 · 0 评论 -
es聚合查询提取域名
1、因数据库中数据超过1000万条,通过kibana做如下设置后可做步骤2的聚合查询PUT _cluster/settings{ "persistent": { "search.max_buckets": 20000000 }}2原创 2021-02-05 16:54:02 · 429 阅读 · 0 评论 -
java.lang.OutOfMemoryError
es集群master节点频繁的蹦掉查看日志抛出的异常为发生这个情况的原因是因为java的xms(最小内存值)xmx(最大内存值)大小,修改方案如下1、进入elasticsearch安装目录config目录下jvm.options,编辑jvm.options这个文件如下图将箭头处1g改为8g,最大扩展支持到32g,超过32g就不识别了,具体根据你实际内存修改即可2、重启elasticsearch即可,再次操作es不但性能上来了也不会发生这个错误了...原创 2020-11-06 15:44:26 · 325 阅读 · 0 评论 -
ubuntu安装elasticsearch和kibana和ik
1:elasticsearch运行要依赖jdk环境所以还是先安装jdksudo apt-get update #更新源sudo apt-get install openjdk-8-jdk #安装jdk环境java -version #测试jdk是否安装成功2:下载elasticsearch安装包并解压elasticsearch下载地址sudo apt-get...原创 2019-05-08 17:15:18 · 1020 阅读 · 0 评论 -
es中bool复合查询和match_phrase精确匹配性能对比
第一种是bool复合查询must:如果有多个条件,这些条件都必须满足 and与,性能的话如下图# -*- coding: utf-8 -*-import timefrom connecting import esstart_time = time.time()search_query = { "query": { "bool": { "must":[{"match":{ "domain":"torum43tajnrxritn4iumy75giwb5yfw6cjq原创 2020-06-12 16:01:28 · 1716 阅读 · 1 评论 -
es查询之helpers.scan
#当需求查询es数据库中全部数据时,用_search就不符合应用场景了,这时就需要滚动查询search_query = { "query": { "match_phrase": { "domain": { "query": "xxxxxxxxxxxx.onion" } } }}res = scan(client=es, query=search_query, scroll='5m', index='page', doc_type='_doc原创 2020-05-27 09:53:15 · 4318 阅读 · 4 评论 -
elasticsearch指定字段批量更新
创建index时候将想要更新的字段默认值为None,更新字段时候一定要指定我们创建index的id,且source部分要将我们要更新的字段==null,因为None在es中为nullfrom elasticsearch6 import Elasticsearchfrom elasticsearch6.helpers import bulk, scanes = Elasticsearch(ho...原创 2020-03-24 20:04:46 · 2001 阅读 · 0 评论 -
elasticsearch语句应用
一、基本术语二、基本操作#以下操作基于kibana获取集群/节点等基本信息相关命令:GET /_cluster/healthGET /_cluster/stateGET _nodes/statsGET _mapping等等添加文档POST /megacorp/employee{ "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I.原创 2019-06-25 15:07:16 · 1538 阅读 · 1 评论 -
es之curl筛选查询
指定地址、index、es类型、数据类型(json)、字段信息、查询数(5)curl -XGET 'http://127.0.0.1:9200/page/_doc/_search' -H "Content-Type: application/json" -d '{"query": {"match": {"domain": "cryptbb2gezhohku.onion"}},"size": 5}...原创 2020-03-24 13:50:12 · 4585 阅读 · 0 评论 -
es批量删除之_delete_by_query
curl -XGET 'http://127.0.0.1:9200/page/_doc/_delete_by_query' -H "Content-Type: application/json" -d { "query": { "match": { "domain": "xxxxxxxxxxxxxxxxxx.onion" } }}原创 2020-05-27 09:23:20 · 2467 阅读 · 0 评论