Elasticsearch
文章平均质量分 62
Elasticsearch 搜索引擎的开发以及周边信息的开发处理等信息
悟能的师兄
有竞者、事竟成
展开
-
ES查询 too_many_clauses,maxClauseCount is set to 5000
ES查询,因为同义词触发 too_many_clauses,maxClauseCount原创 2023-06-02 20:39:30 · 10159 阅读 · 0 评论 -
ES 关于text和keyword两种类型数据搜索区别
ElasticSearch 5.0以后,string类型有重大变更,移除了string类型,string字段被拆分成两种新的数据类型:用于全文搜索的,而用于关键词搜索。原创 2022-09-19 20:52:31 · 13843 阅读 · 0 评论 -
ES系列、Elasticsearch Suggester API(自动补全)
针对自动补全场景而设计的建议器。此场景下用户每输入一个字符的时候,就需要即时发送一次查询请求到后端查找匹配项,在用户输入速度较高的情况下对后端响应速度要求比较苛刻。因此实现上它和前面两个Suggester采用了不同的数据结构,索引并非通过倒排来完成,而是将analyze过的数据编码成FST和索引一起存放。对于一个open状态的索引,FST会被ES整个装载到内存里的,进行前缀查找速度极快。但是FST只能用于前缀查找,这也是Completion Suggester的局限所在。示例1:查询建议根据前缀查询。原创 2022-08-20 11:31:51 · 1014 阅读 · 0 评论 -
Docker部署Elasticsearch集群并开启安全设置
Docker部署Elasticsearch集群并开启安全设置原创 2022-03-02 15:13:51 · 18764 阅读 · 0 评论 -
Elasticsearch聚合java查询问题
Please use a keyword field instead. Alternatively, set fielddata=true on转载 2021-01-23 15:20:07 · 602 阅读 · 1 评论 -
Docker安装ElasticSearch 版本7.6.2
一、Docker 部署 ElasticSearch1、从仓库中查找所有ElasticSearch的镜像[hn-jw@iZbp1gp1t778obaz5m8vk8Z elasticsearch]$ docker search elasticsearch[hn-jw@iZbp1gp1t778obaz5m8vk8Z elasticsearch]$ 2、选择一个版本镜像进行拉取[hn-jw@iZbp1gp1t778obaz5m8vk8Z elasticsearch]$ docker pull原创 2021-01-21 17:48:42 · 8207 阅读 · 0 评论 -
ES dynamic mapping(动态映射)
今天有小伙伴问,Elasticsearch 索引里面的mapping 设置 dynamic = true是什么意思?一:ESmapping dynamic是做什么用的Mapping中的字段类型一旦设定后,禁止直接修改,原因是:Lucene实现的倒排索引生成后不允许修改 只能新建一个索引,然后reindex数据 默认允许新增字段 通过dynamic参数来控制字段的新增: true(默认)允许自动新增字段,但是mapping不显示,查询返回JSON有 false 不允许自动新增字段,但是..原创 2020-09-30 15:01:02 · 3248 阅读 · 0 评论 -
ElasticSearch collapse搜索时出现:only keywords and numbers are accepted
一 :问题-collapse搜索时出现:only keywords and numbers are accepted描述:这个问题是ElasticSearch 在做collapse搜索时发生,发生的版本肯定是 5.0以上,否则不会出现。二:解决办法1-索引创建时指定好类型PUT my-index{ "mappings": { "properties": { "aircraft_type_search" : { "type": "keyword" } } }.原创 2020-09-25 16:18:56 · 1978 阅读 · 0 评论 -
Elasticsearch --- 聚合查询 - Metric (二)
一:聚合查询-Metric官网: 指标聚合官网文档:MetricMetric聚合分析分为单值分析和多值分析两类:#1、单值分析,只输出一个分析结果min,max,avg,sum,cardinality#2、多值分析,输出多个分析结果stats,extended_stats,percentile,percentile_rank,top hits二:Metric使用1、Avg(平均值)计算从聚合文档中提取的数值的平均值。POST /exams/_search?size=0原创 2020-09-16 18:16:57 · 8490 阅读 · 0 评论 -
Elasticsearch --- 聚合查询(一)
说明:该博客对于的Elasticsearch 的版本为6.5.3。在Mysql中,我们可以获取一组数据的最大值(Max)、最小值(Min)。同样我们能够对这组数据进行分组(Group)。那么对于Elasticsearch中我们也可以实现同样的功能,聚合有关资料官方文档内容较多,这里大概分两篇博客写这个有关Elasticsearch聚合。官方对聚合有四个关键字:Metric(指标)、Bucketing(桶)、Matrix(矩阵)、Pipeline(管道)。一、聚合概念1. ES聚合分...原创 2020-09-16 11:03:48 · 15464 阅读 · 3 评论 -
spring data elasticsearch 对应 elasticsearch 版本
spring data elasticsearch elasticsearch 4.0.x 7.6.* 3.2.x 6.5.0 3.1.x 6.2.2 3.0.x 5.5.0 2.1.x 2.4.0 2.0.x 2.2.0 1.3.x 1.5.2 GITHUB:https://github.com/spring-projects/spring-data-elasticsearchPOM依赖<.原创 2020-07-31 17:03:40 · 9560 阅读 · 2 评论 -
ES6 安装Head插件
ES6安装head插件1.下载head插件:wgethttps://github.com/mobz/elasticsearch-head/archive/master.zip2.解压安装包:unzip master.zip 之后,将会出现一个elasticsearch-head-master文件夹[elastic@izwz99z5o9dc90keftqhlrz ~]$ wget...原创 2020-04-29 22:47:21 · 1202 阅读 · 0 评论 -
Elasticsearch使用filter进行匹配关系and,or,not,range查询
RESTful接口URL的格式:http://localhost:9200/<index>/<type>/[<id>]其中index、type是必须提供的。id是可选的,不提供es会自动生成。index、type将信息进行分层,利于管理。index可以理解为数据库;type理解为数据表;id相当于数据库表中记录的主键,是唯一的。#向store索...转载 2020-03-27 19:14:24 · 2449 阅读 · 0 评论 -
Elasticsearch Centos7 开机启动
第一:问题 由于ES早期的版本不是很稳定,偶尔会内存溢出,然后搜索服务就陷入停滞状态,启动服务都要人肉启动,但是有时我并不在电脑旁边,就需要手机让电脑重启,ES开机自启动服务就很有必要,之前设置过,后来没有成功就不管了,好几次发生在晚上之后,服务一停就是几个小时,这个问题就很严重了,所以必须解决掉它;先说下环境:Centos 7 64位、Elasticsearch 5.3.5版本...原创 2019-12-10 21:37:15 · 2337 阅读 · 0 评论 -
Elasticsearch 内存配置
Elasticsearch默认安装后设置的内存是1GB,对于任何一个业务部署来说,这个都太小了。如果你正在使用这些默认堆内存配置,你的集群配置可能有点问题。一:简单处理方式这里有两种方式修改Elasticsearch的堆内存(下面就说内存好了),最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量,并相应的设置堆的大小。举例,你可以用下面的命令设置它...原创 2019-12-09 20:53:33 · 3468 阅读 · 0 评论 -
Elasticsearch Centos6 开机启动
第一:问题 由于ES早期的版本不是很稳定,偶尔会内存溢出,然后搜索服务就陷入停滞状态,启动服务都要人肉启动,但是有时我并不在电脑旁边,就需要手机让电脑重启,ES开机自启动服务就很有必要,之前设置过,后来没有成功就不管了,好几次发生在晚上之后,服务一停就是几个小时,这个问题就很严重了,所以必须解决掉它;先说下环境:Centos 664位、Elasticsearch 5.3.5版本...原创 2019-12-07 21:25:52 · 753 阅读 · 0 评论 -
ElasticSearch-6.5.3系列 遭注入病毒
上次写文档的时候,创建的账号和密码放出来, Kibana也是可使用的,结果很不幸,被某些人开始当成了肉鸡直接上问题:出现这种莫名其妙的进程,当时内存占用小的可怜--被攻击中查看此进程的程序是什么:[root@izwz99z5o9dc90keftqhlrz /]# ll /proc/19967第一步:首先kill进程[root@izwz99z5o9dc90keftq...原创 2019-10-31 11:52:34 · 1143 阅读 · 0 评论 -
Elasticsearch java_pid*.hprof 处理
一、发现问题今天的Elasticsearch突然之间出现问题,主服务启动后,从服务也启动了,但是backup上就是同步不了主master上面的数据。然后开始做数据检查,我靠一看吓一跳:elasticsearch/bin目录下产生类似如下文件:当时压根没想到是这个原因导致的整个backup就是起不了。解释一下【 .hprof 】文件在elasticsearch/bin...原创 2019-10-15 16:52:41 · 9668 阅读 · 4 评论 -
Elasticsearch1.3.5 升级到Elasticsearch6.3.0
Elasticsearch1.3.5 一个古老级的版本,Elasticsearch6.3.0一个较为新的版本说一下为啥升级:主要是因为1.3.5的多级排序不满足我的要求,最简单的需求:水泥 价格10 2018-10-01水泥 价格122018-11-01水泥 价格112019-02-18超找关键字:水泥 【默认只能做】文档相关性排序,没法做综合排序【我想既有文档相关性然后还...原创 2019-04-16 15:50:13 · 578 阅读 · 0 评论 -
Elasticsearch Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file
一个月没管过的搜索引擎突然用不了了,引起一系列的服务崩溃:赶紧上去看原因:Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file:/tmp/hsperfdata_work/23408Try using the -Djava.io.tmpdir= option to...原创 2019-04-02 15:54:38 · 1426 阅读 · 0 评论 -
Elasticsearch 使用同义词 二
接着上篇来,上篇其实里面有一些隐藏的问题:比如说:水果手机,苹果手,苹果手机,iphone,最好用的手机 => iphone手机我想要在搜索苹果手机的时候能够得到汇总的结果是:iPhone手机但是在我们的实际使用中,始终得不到这样的结构。原因如下:同义词 --->> 获取同义词 :要求的是每个词都必须在分词里面是存在的,分词 是搜索引擎里面很重要的一个前提条件...原创 2019-08-07 17:15:44 · 2105 阅读 · 0 评论 -
ElasticSearch-6.5.3系列 安装篇二
准备资料:JDKElasticSearch-6.5.3Kibana Logstash链接:https://pan.baidu.com/s/1TMpMvXjMvUbpVnpfBIJDXA提取码:e1jz安装环境:CentOS 7.3wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6....原创 2019-10-23 22:56:00 · 951 阅读 · 0 评论 -
ElasticSearch-6.5.3系列 安装篇一
准备资料:JDKElasticSearch-6.5.3Kibana Logstash链接:https://pan.baidu.com/s/1TMpMvXjMvUbpVnpfBIJDXA提取码:e1jz安装环境:CentOS 7.3wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6....原创 2019-10-23 22:32:23 · 764 阅读 · 0 评论 -
Elasticsearch之重建索引
0、引言看着这个标题就好吓人,这个重建索引是建立在Lucene实现的倒排索引的原则上的,而我们的每一个查询又都是建立在倒排索引上面的,因此稳定的链条产生了:mapping --》写入数据--》数据根据分词器生成倒排索引--》索引待查询1、重建索引当我们有了了解:mapping 数据存储后,倒排索引就生成了这个概念之后,那么我们很清晰了这样一个图:实际解释成如下图:2、重建索...原创 2019-08-01 00:08:25 · 7920 阅读 · 0 评论 -
Elasticsearch之查询语法-布尔(bool)过滤器 简单使用
1、概念bool (布尔)过滤器。 这是个 复合过滤器(compound filter) ,它可以接受多个其他过滤器作为参数,并将这些过滤器结合成各式各样的布尔(逻辑)组合。格式一个 bool 过滤器由三部分组成:{ "bool" : { "must" : [], "should" : [], "must_not" : [],...原创 2019-07-31 23:20:13 · 12013 阅读 · 1 评论 -
Elasticsearch之分词器查询分词效果
0、引言Elasticsearch之分词器中文的我们一般使用IK,如果没有指定分词器。默认使用的是standard分词。IK分词能将中文分成词组:standard分词则会将每个中文分成一个单个的词:其他分词器:ansj_index ......优劣:IK 分词能够根据词库创建有效的分词索引,搜索的效率和准确率很高。劣势:有小部分词如果不存在词库,则不会被分词,因此在查询的...原创 2019-07-31 17:20:54 · 29560 阅读 · 2 评论 -
ElasticSearch5.1.1使用自定义词库
ElasticSearch使用自定义词库使用自定义词库,我们需要首先找到配置文件:路径:D:\elasticsearch-5.1.1\plugins\analysis-ik\config 然后打开我们的配置文件:IKAnalyzer.cfg.xml 比如我要把圣诞果作为一个词写入自定义分词器: 那么我们打开:D:\elasticsearch-5.1.1\...原创 2019-01-17 14:23:16 · 7877 阅读 · 0 评论 -
Elasticsearch 使用同义词 一
elasticsearch 使用同义词先说一下,为什么使用同义词。任何一种技术的实现,都需要为我们的使用场景服务:下面就是我将要实现功能的使用场景需求一:要获取一个词汇的同义词。比如输入:美女 获取结果:女性 美女 妇女 女孩 等.......需求二:要获取一个词汇的同义汇总词。比如输入:美女,妇女,女性,女孩 获取结果:女性解析技术的信息// 精确映射同义词,【阿迪】、【...原创 2019-01-17 11:34:22 · 5989 阅读 · 1 评论 -
spring boot 集成 Elasticsearch 5.1.1 开发
使用本文档请首先需要有使用ElasticSearch的知识,本文档建立在有使用过的基础之上为什么不使用内部:spring-boot-starter-data-elasticsearch想必能找到这里来的朋友也知道,spring-boot-starter-data-elasticsearch 集成的版本都比较低,最新的快照版刚刚升级zhic支持到5.x,但是快照版什么的压根不敢用,而且还是个...原创 2018-08-10 10:59:19 · 12527 阅读 · 0 评论