![](https://img-blog.csdnimg.cn/20191115174736374.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
elasticsearch
文章平均质量分 58
记录ElasticSearch相关技术。
1. 插件使用;
2. es7. 源码阅读;
3. 实操异常记录;
4. 文档分享;
JavaPub-rodert
技术&自媒体,专注于面试技巧,擅长Java、Go、MySQL、区块链
展开
-
cerebro 报错: Oops, cannot start the server. com.google.common.util.concurrent.UncheckedExecutionExcep
使用 elasticsearch + springboot 实现新闻搜索功能:遇到的错误记录。原创 2024-07-17 17:13:23 · 178 阅读 · 0 评论 -
elasticsearch分组求平均值
亲测,入门DSL语句`@[toc]先通过 country 分组,再取score的平均数。先看结果。原创 2022-08-24 11:39:24 · 1050 阅读 · 0 评论 -
elasticsearch分组
elasticsearch分组,亲测、入门级别语句。原创 2022-08-24 10:48:16 · 332 阅读 · 0 评论 -
elasticsearch集群分片副本不上线
修改副本为0,然后让集群平衡后,再改回原来配置,重新分配。重启node节点后,一个分片的副本不上线。本方案建议在测试环境使用,目前5个分片,一个副本。原创 2022-08-18 15:56:54 · 330 阅读 · 0 评论 -
Should clauses in the filter context will no longer automatically set the minimum 【ElasticSearch】
【已解决】原创 2022-08-18 11:52:38 · 388 阅读 · 1 评论 -
Elasticsearch exception [type=cluster_block_exception, reason=blocked by: [FORBIDDEN/12/index r【已解决】
集群存储资源高水位异常,默认当磁盘空间大于95%时,就会禁止写入。让es恢复到可写入状态。首先让es节点腾出足够的空间、原创 2022-08-16 13:48:13 · 3036 阅读 · 1 评论 -
“error“: { “root_cause“: [{ “type“: “circuit_breaking_exception“, “reason“: “[parent] D【已解决】
原因field data的缓存不够用设置 缓存占用 内存的 或更小返回:elasticsearch fielddata理解在es中,text类型的字段使用一种叫做fielddata的查询时内存数据结构。当字段被排序,聚合或者通过脚本访问时这种数据结构会被创建。它是通过从磁盘读取每个段的整个反向索引来构建的,然后存存储在java的堆内存中。fileddata默认是不开启的。Fielddata可能会消耗大量的堆空间,尤其是在加载高基数文本字段时。一旦fielddata已加载到堆中,它将在该段的生原创 2022-08-08 19:35:52 · 989 阅读 · 1 评论 -
elasticsearch v5.6.1 升级到 elasticsearch v6.8.5
es在v6.8.0版本以后开放了x-pack部分免费功能。为了使用ES的x-pack,解决es裸跑。原创 2022-08-08 14:49:11 · 520 阅读 · 0 评论 -
max file descriptors [65535] for elasticsearch process is too low,【已解决】
注意:如果不生效,可能和命令行的缓存有关,关闭命令行重新打开,再启动 elasticsearch。添加配置:vm.max_map_count=262144,然后执行命令 sysctl -p。原创 2022-08-08 10:46:27 · 1203 阅读 · 0 评论 -
低版本 elasticsearch 授权认证
众所周知,es低版本对授权认证支持的不高,而且x-pack是收费的。下文提供几种解决方案供参考。以开源工具。原创 2022-08-02 17:42:12 · 1169 阅读 · 0 评论 -
ElasticSearch启动报错 java version is an early-access build ,only use release builds【已解决】
elasticsearch原创 2022-07-20 13:54:33 · 868 阅读 · 1 评论 -
python执行elasticsearch异常【已解决】
python、elasticsearch、原创 2022-04-25 17:13:53 · 3360 阅读 · 0 评论 -
ElasticSearch 报错及解决 详细 0405【已解决】
elasticsearch异常原创 2022-04-05 22:25:09 · 3141 阅读 · 1 评论 -
【ElasticSearch面试】10道不得不会的ElasticSearch面试题
以下是 ElasticSearch 面试题,相信大家都会有种及眼熟又陌生的感觉、看过可能在短暂的面试后又马上忘记了。JavaPub在这里整理这些容易忘记的重点知识及解答,建议收藏,经常温习查阅。评论区见关于es的面试,建议使用名词用官方语言描述会更准确。文章目录1. 说说你们公司 es 的集群架构,索引数据大小,分片有多少,以及一些调优手段2. elasticsearch 的倒排索引是什么3. elasticsearch 是如何实现 master 选举的5. 描述一下 Elasticsearch 索引原创 2022-03-26 19:37:08 · 14724 阅读 · 1 评论 -
elasticsearch 是如何实现 master 选举的
ElasticSearch 的选主是 ZenDiscovery 模块负责,源码分析将首发在。 https://gitee.com/rodert/JavaPub对所有可以成为 Master 的节点(node.master: true)根据 nodeId 排序,每次选举每个节点都把自己所知道节点排一次序,然后选出第一个(第0位)节点,暂且认为它是 Master 节点。如果对某个节点的投票数达到一定的值(可以成为master节点数n/2+1)并且该节点自己也选举自己,那这个节点就是master。否则重新.原创 2022-03-15 23:23:33 · 1929 阅读 · 0 评论 -
【Elasticsearch7.3】源码阅读环境搭建
持续更新,每天一点点,源码阅读。基于 ElasticSearch7.3github访问艰难,这里从gitee镜像拉取;git clone https://gitee.com/mirrors/elasticsearch.git切换分支到 7.3版本;git checkout 7.3https://gitee.com/mirrors/elasticsearch计划打算从各个要点出发,阅读调试代码。例如选主、数据写入、搜索查询、flush等等。网上教程一大把,这里从我阅读源码开始记录,授人原创 2022-03-10 21:11:40 · 1560 阅读 · 0 评论 -
elasticsearch部署时,优化方式
elasticsearch部署时,优化方式关闭缓存swap;原因:大多数操作系统会将内存使用到文件系统缓存,会将应用程序未用到的内存交换出去。会导致jvm的堆内存交换到磁盘上。交换会导致性能问题。会导致内存垃圾回收延长。会导致集群节点响应时间变慢,或者从集群中断开。堆内存设置为:Min(节点内存/2, 32GB);设置最大文件句柄数;后俩点不懂可以先说有一定了解,关注JavaPub会做详细讲解。调整线程池和队列大小磁盘存储 raid 方式——存储有条件使用 RAID原创 2022-03-09 21:38:22 · 1601 阅读 · 0 评论 -
elasticsearch国内镜像
发现华为云有一个好用的国内镜像https://mirrors.huaweicloud.com/elasticsearch/7.6.2/https://mirrors.huaweicloud.com/kibana/7.6.2/亲测下载速度非常快需要不同版本只需将上面url后面的版本替换即可原创 2022-02-17 14:02:02 · 1794 阅读 · 1 评论 -
Elasticsearch 7.* 常见错误以及解决方案
下载官网:https://www.elastic.co/cn/downloads/elasticsearch文章目录异常1异常解决异常2问题原因解决方案异常1异常启动 bin 目录下的 elasticsearch 报错(这是ES的一种安全措施,不让用root用户)[root@localhost bin]# ./elasticsearchfuture versions of Elasticsearch will require Java 11; your Java version from原创 2021-12-05 19:37:08 · 1600 阅读 · 0 评论 -
elasticsearch启动报错:unable to install syscall filter: java.lang.UnsupportedOperationException: seccomp
文章目录1场景异常解决1场景win10 - linux子系统下启动异常[2021-09-12T10:40:53,855][WARN ][o.e.b.JNANatives ] [DESKTOP-BPG73KH] unable to install syscall filter:java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, C原创 2021-09-12 10:52:29 · 862 阅读 · 0 评论 -
painless 脚本应用及与 elasticsearch - java 的结合使用
文章目录写在前面写在前面painless 是一个较新的脚本语言,毕竟不是一加一等于二那么简单,开始不懂是很正常的,如果看不懂 请看第二遍第三遍乃至N次 相信我 一定能看得懂的,书读百遍,其义自见es5 以上版本推出了简单安全快捷的 painless 脚本来替代原有的一些脚本语言,最近正好需要过滤查询一些逻辑相对复杂的数据并对原有的 groovy 脚本进行升级,所以对 painless 进行了学习,发现网上对这个脚本的说明非常少, 官网有英文版的说明,所以特将学习结果分享出来。参考:https://原创 2021-09-08 21:28:22 · 386 阅读 · 0 评论 -
什么是搜索【召回】
一个完整的搜索引擎往往包含了比较多的复杂模块,每个模块相互作用、兜底组成了我们使用的搜索引擎。抽象起来,召回和相关性是搜索系统里最重要的两个功能。本文首先介绍一下召回问题。召回是对于输入query,能够高效的获取query相关的候选doc集合。召回对于搜索引擎起着致命性的作用。因为一旦相关的doc不能够被召回,即使后面的相关性排序做好的再好,也是徒劳。尤其在doc资源不是很丰富的搜索场景下,召回更是一个比较明显的问题。首先面临的问题是索引粒度问题。 我们知道召回是通过倒排索引求交得到的,当以词为粒度,粒原创 2021-05-25 15:01:10 · 3241 阅读 · 0 评论 -
ElasticSearch重点问题
文章目录elasticsearch脑裂问题elasticsearch脑裂问题https://blog.csdn.net/DILIGENT203/article/details/85539440原创 2021-05-24 11:09:56 · 500 阅读 · 0 评论 -
index.store.type 参数介绍(建议阅读)
默认跟随操作系统(1) Simple FS(简单文件系统)Simplefs类型是一个简单的实现随机访问文件的文件存储系统(映射到Lucene SimpleFsDirectory的)。该实现的并发性能较差(多线程是个瓶颈)。当你需要将索引持久化,最好使用niofs。(2) NIO FS(NIO文件系统)niofs类型是通过NIO将分片索引文件写到文件系统上(映射到Lucene NIOFSDirectory)。它允许多线程同时读取文件。不建议在Windows系统上使用,由于SUN JAVA实现.原创 2021-03-19 15:36:43 · 1413 阅读 · 0 评论 -
ElasticSearch 集群 & 数据备份 & 优化
https://www.cnblogs.com/zzzwqh/p/13491670.html原创 2021-03-16 15:13:06 · 339 阅读 · 0 评论 -
Elasticsearch 之 FSTs
中文参考:https://www.cnblogs.com/dreamroute/p/8484457.html英文文档:https://cs.nyu.edu/~mohri/pub/fla.pdf原创 2021-03-15 18:36:24 · 385 阅读 · 0 评论 -
Elasticsearch Suggester详解(自动补全)
如果刷到这篇文章,那一定可以解决你的问题,更多交流请留言现代的搜索引擎,一般会具备"Suggest As You Type"功能,即在用户输入搜索的过程中,进行自动补全或者纠错。 通过协助用户输入更精准的关键词,提高后续全文搜索阶段文档匹配的程度。例如在Google上输入部分关键词,甚至输入拼写错误的关键词时,它依然能够提示出用户想要输入的内容:如果自己亲手去试一下,可以看到Google在用户刚开始输入的时候是自动补全的,而当输入到一定长度,如果因为单词拼写错误无法补全,...转载 2021-03-15 17:20:45 · 499 阅读 · 0 评论 -
Springboot2.x整合ElasticSearch7.x实战(三)
大概阅读10分钟本教程是系列教程,对于初学者可以对 ES 有一个整体认识和实践实战。还没开始的同学,建议先读一下系列攻略目录:Springboot2.x整合ElasticSearch7.x实战目录本篇幅是继上一篇 Springboot2.x整合ElasticSearch7.x实战(二) ,适合初学 Elasticsearch 的小白,可以跟着整个教程做一个练习。文章目录第五章 Mapping详解什么是 Mapping?Maping设置dynamic (动态Mapping)indexindex_opt原创 2021-01-10 22:04:15 · 772 阅读 · 0 评论 -
elasticsearch异常问题
环境elasticsearch7.* 遇到的问题异常 "type" : "parse_exception", "reason" : "unknown key [setting] for create index"原创 2021-01-10 20:43:26 · 8147 阅读 · 5 评论 -
Springboot2.x整合ElasticSearch7.x实战(二)
本教程是系列教程,对于初学者可以对 ES 有一个整体认识和实践实战。还没开始的同学,建议先读一下系列攻略目录:Springboot2.x整合ElasticSearch7.x实战目录本篇幅是继上一篇 Springboot2.x整合ElasticSearch7.x实战(一) ,适合初学 Elasticsearch 的小白,可以跟着整个教程做一个练习。第三章 分词器安装使用搜索,少不了使用分词器,elasticsearch 自带了一些简单分词器,也可以使用第三方分词器插件,如 ik、pinyin 等。S原创 2020-12-22 19:22:26 · 943 阅读 · 0 评论 -
Springboot2.x整合ElasticSearch7.x实战(一)
学习一个新技术,最快的掌握方式就是先学会使用,让我们有了很强的满足感,在研究底层代码。本篇幅是继上一篇Springboot2.x整合ElasticSearch7.x实战目录,适合初学 Elasticsearch 的小白,可以跟着整个教程做一个练习。编者荐语:在大数据搜索中,Elasticsearch 使用频率非常高。学习 Java 了解大数据那是我们 Java 攻城狮很好的选择。文章目录第一章 课程介绍自我介绍ElasticSearch SpringBoot 介绍ElasticSearchSpring原创 2020-12-21 20:53:43 · 1209 阅读 · 0 评论 -
ElasticSearch:堆大小与swap设置
鉴于服务器性能,最大小堆我们肯定会设置,本文主要说一下 swap 设置,(本篇适合生产环境中,推荐阅读以下)es官网: https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html堆空间的配置方法ElasticSearch的默认设置中,给服务分配了1GB的堆空间。对于大多数实例来说,这个值都太小了。如果你使用默认的堆空间大小,那么你的集群配置是有问题的。有两种方式可以修改ElasticSearc.原创 2020-11-27 14:41:59 · 962 阅读 · 0 评论 -
Elasticsearch—生产环境集群核心配置
一. Elasticsearch相关配置path.data 和 path.log这两个配置的目录分别用来存放索引数据和日志,它们的默认路径位于$_ES_HOME的子文件夹内。这样有很大风险,特别是在升级Elasticsearch版本时,这些数据很可能被删除,在生产环境中可参考下面的配置path: logs: /var/log/elasticsearch data: /var/data/elasticsearch另外path.data支持配置多个目录,每个目录都会用来存放数据...原创 2020-11-26 16:21:47 · 365 阅读 · 2 评论 -
Springboot2.x整合ElasticSearch7.x实战目录
1原创 2020-04-20 17:12:27 · 1616 阅读 · 0 评论 -
elasticsearch7.x 插件安装异常
(本博客近期所有es文章都是基于elasticsearch7.1.0),请选择Plugin [analysis-pinyin] was built for Elasticsearch version 7.1.1 but versin明显是版本号不一致,解决:进入vim elasticsearch-7.1.0/plugins/pinyin/plugin-descriptor.p...原创 2019-11-08 11:16:17 · 1580 阅读 · 0 评论 -
java.io.IOException: 远程主机强迫关闭了一个现有的连接
问题来源elasticsearch7.1 基于springboot 写了javaApi调用,[2019-10-24T22:56:03,542][WARN ][o.e.x.s.t.n.SecurityNetty4HttpServerTransport] [BGZTprP] caught exception while handling client http traffic, closing...原创 2019-11-06 15:20:44 · 4035 阅读 · 0 评论 -
Elasticsearch7.1之cerebro使用(一)
本博客近期教程笔记都基于elasticsearch7编写创建空索引(put方式) 查看索引信息(demo/_mapping?pretty GET) 可以看到,mapping为空。 构建索引数据结构 [POST]demo/_mapping?pretty{ "properties":{ "title":{ "typ...原创 2019-10-25 16:56:25 · 3605 阅读 · 4 评论 -
ES6安装head插件
https://www.cnblogs.com/lele-house/p/9629580.htmlnohup npm run start &https://www.cnblogs.com/aresxin/p/an-zhuangES6jiHEAD-cha-jian.html--------------------------------------------------...转载 2019-03-14 16:49:45 · 606 阅读 · 0 评论 -
ElasticSearch配置解析
解释:1.1:http.cors.enabled: true 允许跨域访问,为了配合elasticsearch-head可视化ES界面http.cors.allow-origin: "*" 允许所有地址跨域访问1.2:network.host: 0.0.0.0 此项配置为了主机能访问虚拟机1.3:cluster.name: pionner 非常重要,配...原创 2019-03-12 18:01:27 · 535 阅读 · 0 评论 -
【Elasticsearch6】安装笔记
以下是安装es遇到的问题:阅读需俩分钟修改elasticsearch-6.1.1/config目录下的elasticsearch.yml文件中的network.host值改为0.0.0.0用root权限操作错误1ERROR: [2] bootstrap checks failed[1]: max file descriptors [65535] for elasti...原创 2019-03-12 18:54:19 · 312 阅读 · 0 评论