嘻哈怪才的博客

ES是一款非常常用的搜索工具，在很多系统中他都发挥了很关键的作用；ES拥有非常丰富的查询方式，它可以应对很多种的查询方式，同时他在面对高并发的时候也拥有着很高的性能；ES的term查询和match查询都是非常常用的查询；此外高亮查询加粗样式来突出分词和**，聚合查询来做统计也都是常用的查询方式；还有Scroll分页**在面试的时候是很容易被问到的；当然也是比较常用的；。。。。。。。。。。。。。嘻哈的简写笔记。。。。。。。。。。。。。...

private String NameTwo = "map";//定义索引名称 private String typeNameTwo = "map";//定义类型名称 // 经纬度查询：基于Java实现geo_polygon查询 @Test public void geoPolygon() throws IOException { //1. SearchRequest SearchRequest request = new SearchReq.

1.ES中地图的检索方式有哪些？如何查询所有在圆圈里的点？~geo_distance：直线距离检索方式，也就是一条直线画一个圆圈；~geo_bounding_box 以两个点确定一个矩形，获取在矩形内的全部数据；~geo_polygon： 以多个点，确定一个多边形，获取多变形内的全部数据；#查询所有在圆圈里的点POST /map/map/_search{ "query": { "geo_distance": { "location": { "lon": 11

1.经纬度查询使用场景是？ES是如何支持经纬度存储的？我们使用经纬度的场景有：~比如送外卖的时候，送餐的时候的位置；~比如好友之间的位置；在ES中有一个专门的经纬度数据类型：geo_point这个类型就是专门来存经纬度的；2.如何创建一个带geo_point类型的索引？并添加测试数据(1)在kibana中创建一个map索引#经纬度查询PUT /map{ "settings": { "number_of_shards": 5 , "number_of_replicas":

写aggregation代表着范围；@Test //聚合查询public void test24() throws IOException { //1. 创建SearchRequest SearchRequest request = new SearchRequest(indextName); request.types(typeName); //2. 指定使用的聚合查询方式 SearchSourceBuilder builder = new SearchSou

统计一定范围内出现的文档个数，比如，针对某一个Field的值在 0到100,100到200,200到300之间文档出现的个数分别是多少。范围统计可以针对普通的数值，针对时间类型，针对ip类型都可以做相应的统计。range，date_range，ip_range (可以统计数值，时间，ip等类型)注意：from 5 to 10 的含义是从5 到10；包含当前值；from是大于；to是小于；GET /book/novel/_search{ "aggs": { "count_pro": {

1.什么是聚合查询？ES的聚合查询和MySQL的聚合查询类似，ES的聚合查询相比MySQL要强大的多，ES提供的统计数据的方式多种多样；聚合查询就是对查询出的结果进行统计；例如：求最大，最小，范围，平均值；去重；2.如何进行聚合查询的去重查询？去重计数，即Cardinality，第一步先将返回的文档中的一个指定的field进行去重，统计一共有多少条；#聚合查询GET /book/novel/_search{ "aggs": { "count_province": {

1.什么是高亮查询？ES如何实现高亮查询？高亮查询就是把查询到的关键词以显著的颜色标识出来，在百度，京东上很多地方都可以看到；ES有默认的高亮查询插件；非常的方便；高亮查询就是你用户输入的关键字，以一定的特殊样式展示给用户，让用户知道为什么这个结果被检索出来。高亮展示的数据，本身就是文档中的一个Field，单独将Field以highlight的形式返回给你。ES提供了一个highlight属性，和query同级别的。fragment_size：指定高亮数据展示多少个字符回来。pre_tags：指

~query，根据你的查询条件，去计算文档的匹配度得到一个分数，并且根据分数进行排序，不会做缓存的。~filter(过滤)，根据你的查询条件去查询文档，不去计算分数，而且filter会对经常被过滤的数据进行缓存。我们知道使用query查询时，查询结果中会有一个"_score" : 2.540445, 分数；这个分数就是匹配度；也就说明query查询是匹配度查询；当我们不想使用分数匹配来进行查询的话就可以选择filter，filter不计算分数，并且可以对常用的数据做缓存；#filter查询POST

首先分数的用途：查询显示先后排序；都能用到这个分数；关于查询时，分数是如何计算的：~搜索的关键字在文档中出现的频次越高，分数就越高；(两个关键词肯定比一个关键词高)~指定的文档内容越短，分数就越高； (也就是关键词占文章内容占比越高，分数越高)~我们在搜索时，指定的关键字也会被分词，这个被分词的内容，被分词库匹配的个数越多，分数越高；(也就是匹配到的分词个数越多，分数越高)我们知道使用query查询时，查询结果中会有一个"_score" : 2.540445, 分数；这个分数就是匹配度；也就说明q

复合查询也叫复合过滤器；将你的多个查询条件，以一定的逻辑组合在一起；通俗来讲就是有一些逻辑判断关系在查询里面；我们以前查询的是按照关键词查询，大部分都是包含这个关键词的，或者是和这个关键词是相匹配的；复合查询的逻辑是不包含的，或者包含这个关键词但是不包含另一个关键词的；又或者是包含A1也必须包含A2 的；复合查询有三个逻辑判断词：·must： 所有的条件，用must组合在一起，表示And的意思 (must 等于 and)·must_not：将must_not中的条件，全部都不能匹配，标识Not的意思

根据term，match等查询方式去删除文档；含义：也就是我们可以根据term 或者match查询出来的东西进行删除；也就是把查出来的东西删掉；注意：如果你需要删除的内容，是index下的大部分数据，推荐创建一个全新的index，将保留的文档内容，添加到全新的索引；解释：我们可以看到，我们利用term查询，查询出author是“希特勒”的文档来，然后我们利用把大括号外面的_search换成 _delete_by_query 就是变成了删除；注意：这里是POST不是DElETE大括号里面的不用动，

@Test //深分页Scrollpublic void test22() throws IOException { //Java实现scroll分页 //1. 创建SearchRequest SearchRequest request = new SearchRequest(indextName); request.types(typeName); //2. 指定scroll信息 request.scrol

查询语句：#Scroll分页查询GET /book/novel/_search?scroll=1m{ "size":2, "query": { "match_all": {} }}解释：如何使用Scroll+size实现分页？只需要在最开始查询语句_search后面加上 ?scroll=1m1m 的意思是1分钟的意思，代表着查询出来的id在缓存中的生存周期是1分钟；查询语句体(也就是大括号)里面基本不用变，只需要加上size属性，代表着每一页显示几个数据；剩余的以前该是什么

在ES中from+size 查询是有限制的，from和size两者之和不能超过1万；原理：第一种分页方式：from+size在ES查询数据的方式：第一步现将用户指定的关键进行分词。第二步将词汇去分词库中进行检索，得到多个文档的id。第三步去各个分片中去拉取指定的数据。耗时较长。第四步将数据根据score进行排序。耗时较长。第五步根据from的值，将查询到的数据舍弃一部分。第六步返回结果。下一页的话再重复整个过程！！！这种方式相当于limit；数据量不能过大！！！那么，为什么数据量不能

1.什么是regexp(正则)查询？如何进行正则查询？正则查询就是通过编写正则表达式进行匹配内容；注意：prefix(前缀)，fuzzy(模糊)，wildcard(通配符)，和regexp(正则)表达式效率都比较低，包括正则表达式匹配效率也比较低；要是要求效率比较高时，应该避免使用；正则表达式检索手机号：#正则表达式匹配GET /book/novel/_search{ "query": { "regexp": { "mobile": "1[0-9]{0}" }

1.什么是range(范围)查询？如何进行range(范围)查询？注意：范围查询只能针对数值类型，对某一个Field进行大于或者小于的范围指定；gte:大于等于；lte：小于等于；#范围range查询#大于等于"gte": 150,#小于等于"lte": 300 GET /book/novel/_search{ "query": { "range": { "price": { "gte": 150, "lte": 300

1.什么是wildcard(通配符)查询?如何进行通配符查询？wildcard查询也属于模糊查询；通配查询，和MySql中的like是一个套路，可以在查询的时候，在字符串中指定通配符星号（ * ） 和占位符问号（ ？）（*） 表示任意个，(0个或多个) ；（?） 表示出现0次或多次 (有或者没有);(+) 一次或多次(至少出现一次)；他们都是正则表达式的内容…#通配查询，模糊查询GET /book/novel/_search{ "query": { "wildcard": {

1.ES中什么是fuzzy(模糊)查询？如何进行fuzzy查询？模糊查询，我们输入字符的大概，ES就可以去根据输入的内容大概去匹配一下结果；注意：他和我们在MySQL中的模糊查询还是有区别的，他有个偏移值；比如：当我们在京东中输入appla 的时候他会出现许多apple(苹果)，就像它有个自动修正似的；它就是按照匹配的相似度来的；也就是说，一些信息，有对的也有错误的，它会利用这些大概的信息，给我们匹配信息出来；他有几个属性，例如：设置保证前几个是不能出错，设置最大的偏移量(也就是可以错误几个值)#模

1.什么是prefix(前缀)查询？如何进行前缀查询？前缀查询是通过一个关键字去指定一个Field的前缀，从而查询到指定的文档；也就是所查询到的信息必须带有某一个前缀；#prefix 前缀查询GET /book/novel/_search{ "query": { "prefix": { "name": { "value": "金" } } }}含义：把**前缀是“金”**的全部查询出来；也就是第一个字是“金”的全部查出来；2.j

1.什么是ids查询？和id查询的区别是什么？如何使用ids查询？id查询是用来查询一个id的，那么如何一次查询多个id？ 使用ids ；ids就要使用query了；然后values这里需要一个数组把要查询的id输入进去；#ids查询GET /book/novel/_search{ "query": { "ids": { "values": ["1004","1001"] } }}2.java如何进行ids查询？@Test //ids查询public

1.什么是ES 的id查询？如何使用id查询？Id查询就是根据一个id进行查询，非常简单； GET /book/novel/ + idGET /book/novel/2含义：这是查询一个id为2的数据；注意：这里用的是GET，如果是DELETE 那么就变成了删除；2.如何在java中进行GET查询？直接使用GET就可以了；@Test //id查询public void test15() throws IOException { //直接构建request对象，然后把要搜索的的id传

此时我们已经把重复的部分给封装成了一个方法，我们只需要调用传参就可以了；测试方法：@Test //multi_match查询public void test14() throws IOException { QueryBuilder queryBuilder = QueryBuilders.multiMatchQuery("第三方","name","author"); ClientUtils.queryTemplate(indextName,typeName,queryBuilder)

之前的查询都是查询一个字段的，比如：~term查询：查询某一个字段进行完全匹配一个条件，也就是不进行分词匹配；~terms查询：查询某一个字段进行完全匹配，但是可以匹配多个条件A1条件或者A2条件，A1 or A2 …~match_all查询：查询某一个表的所有内容；~match查询：查询某一个字段，进行分词匹配；分词关系是”或”的关系；~布尔match查询：查询某一个字段，进行分词匹配；分词关系可以进行指定是”或”还是”与”；这些都是查询一张表里面的一个字段的，那么如何同时查询多个字段呢？…

1.什么是 布尔match查询？和match查询又有什么区别？如何使用match查询？match查询可以指定是“或”和“与”的关系，比如我们查询的”好书三”，它分词之后分成了”好书”+”三”；而它能检索出的是关键词里能分出”好书”的或者能分出有”三”的；而布尔match查询是可以自由指定“与”和“或”的关系的，当你指定为“与”的关系时，也就是他能检索出能够同时分词出”好书”和”三”的关键词；布尔match查询or：#布尔match查询orGET /book/novel/_search{ "qu

它前面和后面和实施term查询时是一样的；只有中间变了，就跟我们进行term变成terms查询时是一样的；一、match_all 查询 ：查所有builder.query(QueryBuilders.matchAllQuery());request.source(builder);//顺便把builder对象也封装到request对象里；二、match查询 ：注意：变来变去就只有中间给变了，所以我们可以把重复代码给提取出来，封装成一个类；@Test //match查询public void

1.什么是match查询？match查询可以做什么？我们知道了term查询是不可以进行分词查询的，那么如何进行分词查询呢？就可以使用match查询；match查询属于高层查询，他会根据你查询的不同字段类型，采用不同的查询方式；(比较智能化)例如：·查询的是日期或者是数值的话，他会将你基于的字符串查询内容转换为日期或者数值对待；(智能把字符串转化为数值)·如果查询的内容是一个不能别分词的内容(keyword)，match查询不会对你指定的关键词进行分词； (不该分词的内容不给你分)·如果查询的内容

和java查询term相比别的都不需要变；就是需要term变成terms；builder.query(QueryBuilders.termQuery("author","滔滔"));request.source(builder);//顺便把builder对象也封装到request对象里；变成：builder.query(QueryBuilders.termsQuery("author","滔滔","希特勒"));request.source(builder);//顺便把builder对象也封装到

1.什么是terms查询？terms查询和term查询的区别是什么？terms 查询和 term查询的查询机制是一样的，都不会将指定的关键字进行分词，直接去分词库中匹配，找到相应文档内容；terms 是在针对一个字段包含多个值的时候使用；比如下面：term ：author = “希特勒”terms ：author = “希特勒” or author = “滔滔” or …总结：简单说就是term查询一次可以匹配一个条件，terms一个可以匹配多个条件；2.如何使用terms查询？#terms查

所谓的java查询大体上(当然还是有些差别)就是把kibana里面的语法翻译成java语言；private String indextName = "book";//定义索引名称private String typeName = "novel";//定义类型名称@Test //java中的term查询public void test9() throws IOException { //term查询 //1.创建request对象 SearchRequest request

term查询是代表完全匹配，搜索之前不会对你搜索的关键字进行分词，对你的关键字去文档分词库中去匹配内容；总结：也就是term查询不会再进行分词，而是直接去分词库进行完全匹配查询；用法： kibana查询语句：#term查询GET /book/novel/_search #{ "from": 0, "size": 20, "query": { "term": { "author": { "value": "希特勒" } }

首先了解，ES是依据lucene而开发的，而lucene的底层是倒排索引！！！请看图：声明：图片是嫖来的这张图的含义是：在索引(库)里有三条数据，分别是1，2，3；而有个分库库里分别对应着三条数据给分了词，分出了关键字；比如中国这个关键字，在第1条数据和第3条数据里都有，所以他的标注就是(1，3) ;而现在我们对数据进行检索；检索分为两步，第一步是查询，query，比如我们就查询中国这个词，依据分词库里面的分词关键字可以查询出(1，3)来，；第二步是拉取，依据查询出来的(1，3)数据去索引里

1.java如何批量添加ES文档？@Test //文档批量添加public void test8() throws IOException { //批量添加文档 Novel n1 = new Novel(1016,"西游记","滔额滔",100L,200L,new Date(),"好书第三范式"); Novel n2 = new Novel(1017,"三国","生巅峰",100L,200L,new Date(),"胜多负少"); Novel n3 = new Novel

1.java如何修改ES的文档？Java修改ES有两种方式：第一种方式：直接利用相同的id；创建就是修改；只要id相同就是修改那一行的数据；第二种方式：UpdateRequest类(这是专门进行修改的)；区别：第二种方式更加规范，可以只写自己想要更改的内容；如果是第一种方式要全部写上，否则就会变成null值；第二种更常用；创建Map集合，UpdateRequest类@Test //文档修改public void test6() throws IOException { //文档操作

1.java如何添加文档？利用类对象：IndexRequest、RestHighLevelClient@Test //java执行文档操作//添加文档public void test5() throws IOException { //创建一个实体类，然后向对象里面传数据 Novel novel = new Novel(1003,"金瓶梅","滔滔",100L,200L,new Date(),"好书好书"); //long 类型后面要加L //传数据肯定要传JSON

注意：java创建索引很麻烦！所以一般很少使用java代码创建索引！！！private String indextName = "bookdsfd3";//定义索引名称private String typeName = "novedfdl3";//定义类型名称@Test //通过java代码创建索引public void test4() throws IOException { //1.创建Setting参数；在setting里面有备份个数和分片数量 Settings.Builde

1.java 如何连接ES？(1)创建maven项目，添加ES依赖！~添加ES依赖；~添加ES高级API依赖；顺便添加~junit依赖，做测试；~lombok依赖；构造方法；(2)写一个测试类； 创建：传递参数对象，连接对象，客户端对象，关闭连接；@Testpublic void test1() throws IOException { //建立java与ES的连接 //创建ES服务器地址和端口对象；传递连接地址+端口； HttpHost httpHost = ne

1.Elastic Search如何修改文档的数据？做修改可以用POST ;修改的关键是id；如果你在后面从来没有指定过id是2，换言之ES里没有id是2的数据那么下面就是添加数据；如果有id为2的数据那下面就变成了修改；POST /book/novel/2{ "name":"我的奋斗888", "author":"希特勒88", "price":"2008", "count":"1008", "pubate":"1982-2-3 12:30:23", "decr":"一本好

1.Kibana如何读取存入文档的数据？**(1)**点击Kibana 页面中的Management ；**(2)**进入页面点击Kibana中的index Patterns (含义：索引匹配器)；**(3)*输入索引(库)的名称，book (注意没有星号)；点击下一步；**(4)**进入页面是否配置时间过滤字段，没有我们选 I don’t want to use the Time Filter点击create index …**(5)**点击之后就会显示一些表里的字段；**(6)**这个时候

~ES中文档有三个标识，分别是：_index , _type ,id 三个内容，用来确定一个唯一的文档，这三个的含义是，库，表，id(序号) ；就是哪个库，哪个表，的哪一行数据；~当我们创建好(索引)库，创建好(类型)表，创建好字段的时候，我们应该向其中添加数据了，而添加数据的过程就是文档操作；~执行文档添加操作需要用POST请求； POST后面写清楚是哪个库？book，那个表？novel；然后后面是字段；这几个字段然后就是赋值(注意要符合字段的格式)；POST /book/novel{ "na