Spring Boot 20天入门（day10）

最新推荐文章于 2021-03-28 11:22:01 发布
最新推荐文章于 2021-03-28 11:22:01 发布
阅读量429 收藏 1
点赞数 2
分类专栏： Spring Boot 20天入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxzcyq/article/details/106446090
版权

Spring Boot 20天入门（day10）

Springboot与搜索

ElasticSearch

基本概念：

  • Index：一系列文档的集合，类似于mysql中的数据库
  • Type：在Index里面可以定义不同的type，type的概念类似于mysql中的表。
  • Document：文档的概念类似于mysql中的一条存储记录，并且为json格式，在Index下的不同type下，可以有许多的document
  • Shards：在数据量很大的时候，进行水平的扩展，提高搜索性能
  • Replicas：防止某个分片的数据丢失，可以并行在备份数据里及搜索提高性能

ElasticSearch查询语法

_cat API
  • cat：输出_cat api中所有支持的查询命令
  • cat health：检查es集群运行的情况
  • cat count：可以快速的查询集群或者index中文档的数量
  • cat indices: 查询当前集群中所有index的数据，包括index的分片数、document的数量、存储所用的空间大小…
  • 其他cat api参考官方文档: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/cat.html
Search API

查询方式：

REST request URI：轻便快速的URI查询语法

REST request body：可以有许多限制条件的json格式查询方法

“query”：请求体中的query允许我们用Query DSL的方式查询。

​ “term”：查询时判断某个document是否包含某个具体的值，不会对被查询的值进行分词查询

​ “match” : 将被查询值进行分词，然后用评分机制（TF/IDF）进行打分

​ “match_phrase”：查询指定段落

​ “Bool”：结合其他真值查询，通常和[must should mustnot]（与或非）一起组合出复杂的查询

​ “range”：查询时指定某个字段在某个特定的范围

"range": {
      "FIELD": {# 指定具体过滤的字段
        "gte": 1,# gte: >=, gt: >
        "lte": 10
      }
    }

​ “from”：以一定的偏移量来查看我们检索的结果，默认从检索的第一条数据开始显示（0位置开始）

​ “size”：允许我们将检索的结果以指定的字段进行排序显示

​ “_source”：指定检索结果输出的字段

​ “script_fields”：该类型允许我们通过一个脚本来计算document中不存在的值，比如我们需要计算install/click得到cti之类的

"script_fields": {
    "FIELD": {# 指定脚本计算之后值得名称
      "script": {# 脚本内的运算
      }
    }
  }

​ “aggs”：基于搜索查询，可以嵌套去和来组合复杂的需求

"aggs": {
    "NAME": {# 指定结果的名称
      "AGG_TYPE": {# 指定具体的聚合方法，
        TODO: # 聚合体内制定具体的聚合字段
      }
    }
    TODO: # 该处可以嵌套聚合
  }
Query and filter context

查询语句的性为取决于它是使用查询型上下文还是过滤型上下文

  • Query context：在这种上下文环境中，查询语句的返回结果是**”结果和查询语句的匹配程序如何“**，返回的结果数据中都会带上_score值，象征匹配程度。
  • Filter context：过滤型上下文环境中，查询语句则表面匹配与否（yes or no）。es内置式为filter context保存缓存用来提高查询性能，因此filter context比query context查询的速度快

ElasticSearch查询示例

_Cat API查询示例
_Cat API查询集群的健康情况

在这里插入图片描述

_Search API查询示例
创建索引

URI

PUT localhost:9200/test

Output

{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "test"
}
插入数据

URI

PUT localhost:9200/test/user/1

Body

{
	"username" : "张三",
	"password" : "123546",
	"age" : "18",
	"yyyymmdd" : "2017-08-07T16:00:00"
}

Output

{
    "_index": "test", # 索引
    "_type": "user", # type类型
    "_id": "1", # 唯一id，如果不指定将自动生成一个自增的uuid，且这个uuid永不重复
    "_version": 1,# 版本，每提交一个重复的版本+1
    "result": "created",# 操作
    "_shards": { # 拓展
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 0,
    "_primary_term": 1
}
查询数据
查询所有

URI

GET localhost:9200/test/user/_search?q=*

Request Body

GET localhost:9200/test/user/_search
{
	"query":{
		"match_all":{}
	}
}

Output

{
	"took": 1121,
	"timed_out": false,
	"_shards": {
		"total": 1,
		"successful": 1,
		"skipped": 0,
		"failed": 0
	},
	"hits": {
		"total": {
			"value": 1,
			"relation": "eq"
		},
		"max_score": 1.0,
		"hits": [
			{
				"_index": "test",
				"_type": "user",
				"_id": "1",
				"_score": 1.0,
				"_source": {
					"username": "张三",
					"password": "123546",
					"age": "18",
					"yyyymmdd": "2017-08-07T16:00:00"
				}
			}
		]
	}
}
查询特定字段，并按照某个字段进行排序

URI

GET localhost:9200/test/user/_search?q=username:张三&&sort=yyyymmdd:asc

Request Body

GET localhost:9200/test/user/_search
{
    "query": {
        "match": {
            "username": "张三"
        }
    },
    "sort": [
        {
            "yyyymmdd": {
                "order": "desc"
            }
        }
    ]
}
查询特定字段，并指定输出字段

RequestBody

localhost:9200/test/user/_search
{
    "query": {
   {
                    "match": {
                        "username": "张三"
                    }
                }
        
    },
    "sort": [
        {
            "yyyymmdd": {
                "order": "desc"
            }
        }
    ],
    "_source": [
        "yyyymmdd",
        "username"
    ]
}

Output

{
    "took": 4,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": null,
        "hits": [
            {
                "_index": "test",
                "_type": "user",
                "_id": "1",
                "_score": null,
                "_source": {
                    "yyyymmdd": "2017-08-07T16:00:00",
                    "username": "张三"
                },
                "sort": [
                    1502121600000
                ]
            }
        ]
    }
}
bool组合复杂查询

Request Body

GET localhost:9200/test/user/_search
{
    "query": {
        "bool": {
            "must": [
                {
                    "match": {
                        "username": "张三"
                    }
                }
            ],
            "must_not": [
                {
                    "range": {
                        "age": {
                        	"gt" : 18
                        }
                    }
                }
            ],"should" : [
            	{
            		"match" : {
            			"yyyymmdd" : "2017-08-07T16:00:00"
            		}
            	}]
        }
    },
    "sort": [
        {
            "yyyymmdd": {
                "order": "desc"
            }
        }
    ],
    "_source": [
        "yyyymmdd",
        "username"
    ],
    "highlight": {
        "fields": {
            "username": {}
        }
    }
}

Output

{
    "took": 328,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": null,
        "hits": [
            {
                "_index": "test",
                "_type": "user",
                "_id": "1",
                "_score": null,
                "_source": {
                    "yyyymmdd": "2017-08-07T16:00:00",
                    "username": "张三"
                },
                "highlight": {
                    "username": [ # 高亮的字段
                        "<em>张</em><em>三</em>"
                    ]
                },
                "sort": [
                    1502121600000
                ]
            }
        ]
    }
}
聚合查询

下例是类似于sql中的聚合查询，查询每天不同类型对应的intall总量

Requst Body

PUT /rta_daily_report/campaign/164983850_rba_20170808?pretty
{
  "doc": {
    "cid": 164983850,
    "advertiser_id": 799,
    "trace_app_id": "com.zeptolab.cats.google",
    "network_cid": "6656665",
    "platform": 1,
    "direct": 2,
    "last_second_domain": "",
    "jump_type": 2,
    "direct_trace_app_id": "",
    "mode": 0,
    "third": "kuaptrk.com",
    "hops": 9,
    "yyyymmdd": "2017-08-07T16:00:00",
    "type": "rba",
    "click": 2
  }
}

GET localhost:9200/test/user/_search
{
  "size": 0,
  "aggs": {
    "sum_install": {
      "date_histogram": {
        "field": "yyyymmdd",
        "interval": "day"
      },
      "aggs": {
        "types": {
          "terms": {
            "field": "type.keyword",
            "size": 10
          },
          "aggs": {
            "install": {
              "sum": {
                "field": "install"
              }
            }
          }
        }
      }
    }
  }
}

Output

"aggregations": {
    "sum_install": {
      "buckets": [
        {
          "key_as_string": "2017-07-31T00:00:00.000Z",
          "key": 1501459200000,
          "doc_count": 659553,
          "types": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "rba",
                "doc_count": 321811,
                "install": {
                  "value": 73835
                }
              },
              {
                "key": "m_normal",
                "doc_count": 321711,
                "install": {
                  "value": 18964
                }
              }

script查询
下例通过document中的click,install字段，计算出文档中不存在的数据。

GET /rta_daily_report/campaign/_search?pretty
{
    "query" : {
      "bool": {
        "must": [
          {
            "range": {
              "click": {
                "gt": 0
              }
            }
          },
          {
            "range": {
              "install": {
                "gt": 0
              }
            }
          }
        ]
    }},
    "size": 100, 
    "script_fields": {
      "cti": {
        "script": {
          "lang": "painless",
          "inline": "1.0 * doc['install'].value / doc['click'].value"
        }
      }
    }
}

Output

"hits": {
    "total": 23036,
    "max_score": 2,
    "hits": [
      {
        "_index": "rta_daily_report",
        "_type": "campaign",
        "_id": "160647918_rta_20170801",
        "_score": 2,
        "fields": {
          "cti": [
            0.0005970149253731343
          ]
        }
      },
      {
        "_index": "rta_daily_report",
        "_type": "campaign",
        "_id": "162293741_rta_20170801",
        "_score": 2,
        "fields": {
          "cti": [
            0.00007796055196070789
          ]
        }
      },

Springboot2.x整合 Elastic Search

引入依赖

  <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
  </dependency>
  <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.12</version>
  </dependency>

实体类

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

import java.io.Serializable;

/**
 * @Description : TODO
 * @Author : Weleness
 * @Date : 2020/05/30
 */
// 索引，类型
@Document(indexName = "student",type = "weleness",shards = 1,replicas = 0)
@Data
@NoArgsConstructor
@AllArgsConstructor
public class Student implements Serializable {


    private static final long serialVersionUID = 4315447603254880943L;

    // 当作主键
    @Id
    private String id;

    @Field(type = FieldType.Keyword)
    private String name;
    @Field(type = FieldType.Integer)
    private Integer age;

    @Field(type = FieldType.Double)
    private Double score;

    @Field(type = FieldType.Text)
    private String info;

}

repository

import com.github.springbootelasticsearch.bean.Student;
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;

import java.util.List;

/**
 * @author Weleness
 * @date 2020/05/30
 * @description TODO
 */
// 这个接口封装了我们一些基本的crud操作，也可以添加我们自己的一些自定义方法
public interface EsRepository extends ElasticsearchRepository<Student,String> {
    /**
     * 根据年龄区间查询
     *
     * @param min 最小值
     * @param max 最大值
     * @return 满足条件的用户列表
     */
    List<Student> findByAgeBetween(Integer min, Integer max);
}

测试

@SpringBootTest
class SpringbootElasticsearchApplicationTests {
    
    Logger logger = LoggerFactory.getLogger(SpringbootElasticsearchApplicationTests.class);
    
    @Autowired
    private EsRepository esRepository;
    
    @Autowired
    private ElasticsearchRestTemplate elasticsearchRestTemplate;

    // 创建索引
    @Test
    void contextLoads() throws IOException {
       elasticsearchRestTemplate.createIndex(Student.class);

       elasticsearchRestTemplate.putMapping(Student.class);

    }

    // 新增
    @Test
    void save(){
        Student student = new Student("1","张三",18,75.5,"撒vu");
        Student save = esRepository.save(student);
        logger.info("【save】= {}", save);
    }

    // 批量新增
    @Test
    void saveList(){
        List<Student> list = new ArrayList<>();
        for (int i = 0; i < 10; i++) {
            Student student = new Student(i+"","小明"+i,10+i,75.6+i,"shabi"+i);
            list.add(student);
        }
        esRepository.saveAll(list);
    }

    // 查询
    @Test
    void search(){
        Iterable<Student> all = esRepository.findAll();

        for (Student student : all) {
            logger.info("[student] = {}",student);
        }
    }
    
      // 删除
    @Test
    void delete(){
        esRepository.deleteById("1");
    }
    
    
     // 高级查询
    @Test
    void advanceSearch(){
        MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("id", "0");
        esRepository.search(matchQueryBuilder).forEach(student -> {
            logger.info("[student]={}",student);
        });
    }
    
      // 自定义高级查询
    @Test
    void customAdvanceSelect(){
        // 构造查询条件
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        queryBuilder.withQuery(QueryBuilders.matchAllQuery());
        queryBuilder.withSort(SortBuilders.fieldSort("age").order(SortOrder.DESC));
        Page<Student> search = esRepository.search(queryBuilder.build());
        search.forEach(student -> {
            logger.info("[student]={}",student);
        });
    }
}

以上…

Weleness
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spring boot入门
03-21
包括spring的发展和了解spring的JAVA配置方式，入门学习spring boot以及用spring boot改造购物车系统
ES完整使用从安装到springboot项目操作
NiKaBoy的博客
01-18 1603
ES的原理和基本概念 ES和Kibana的下载与安装 项目中使用ES 配置ElasticsearchClient
SpringBoot整合 ElasticSearchRestTemplate使用
smile_boyyy的博客
03-28 3781
ElasticSearch ElasticRestTemplate使用 环境准备 SpringBoot 2.4.3 es版本 7.11.1 jdk 1.8 application.yml #因为本机9200是默认链接地址，未设置用户名密码，唯一未配，如需配置，以下地址配置 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-omRDYdeP-1616901668266)(C:\Users\huyonghao\AppData\Roaming\Typora\typora-us
TRC20 解析数据 等功能 重点代码公布
热门推荐
@小刘同学nice
10-14 1万+
前提 导入springboot 工程 导入wallet-cli 到maven中 properties 配置信息 server.port=8080 #密匙 trc20.privateKey=xxxxx #trx地址 trc20.trxAddress=xxxx #合约地址 币种 trc20.symbol=LIUJH#TW2VVpjBCZVEAGVrTHftjGPFMHLLWSEV4z #币种 位数 trc20.wei=TRX#6,LIUJH#18 # http 地址 trc20.http=xxxx # so
SpringBoot学习第二十五篇：2小时学会springboot
wangpeng322的博客
11-22 245
http://blog.csdn.net/forezp/article/details/61472783 本文出自方志朋的博客 一.什么是spring boot spring boot 致力于简洁，让开发者写更少的配置（Spring Boot的约定大于配置），程序能够更快的运行和启动。它是下一代javaweb框架，并且它是spring cloud（微服务）的基础。 二、搭建第一个sping ...
2小时学会Spring Boot 学习笔记
cmazxiaoma的博客
10-28 8214
前言Spring Boot是用来简化Spring应用初始搭建以及开发过程的全新框架，被认为是SpringMVC的接班人，和微服务紧密联系在一起。Spring Boot 简单实例DemoSpringMVC 的优缺点 优点：Spring Boot适合快速开发，适合构建微服务系统。封装了经常使用的组件，比如MyBatis, Hibernate, MongoDB等。 纯Java的配置，简单方便。 配置Mav
Spring Boot 入门到实战
最新发布
09-19
Spring Boot 入门到实战 适合新手入门的内容。也可以进行相互的学习和讨论，欢迎━(*｀∀´*)ノ亻!大家一起进行学习和讨论
Spring Boot的入门程序
09-19
适合新手入门，可以相互学习一下
Spring Boot 快速入门指南
08-31
Spring 框架是非常著名的 Java 开源框架，历经十多年的发展，整个生态系统已经非常完善甚至是繁杂，Spring Boot 正是为了解决这个问题而开发的，为 Spring 平台和第三方库提供了开箱即用的设置，只需要很少的配置就...
Spring Boot入门教程
05-06
Spring Boot入门教程，共42课，分别讲解了基础WEB开发、Thymeleaf、FastDFS、WebSocket、JDBC、MyBatis、JPA、Druid、Memcache、Redis、 ActiveMQ、RabbitMQ、MongoDB、ElasticSearch、Quartz、Security、 Actuator...
Spring Boot 20天入门（day5）
Weleness的博客
05-19 5200
Spring Boot 20天入门（day5）Springboot嵌入式Servlet容器Springboot嵌入式Servlet容器配置修改注册Servlet三大组件（Servlet，Filter，Listener）切换嵌入式Servlet容器嵌入式Servlet容器自动配置原理嵌入式Servlet容器启动原理总结 Springboot嵌入式Servlet容器 Springboot默认使用Tomcat作为嵌入式的Servlet容器。 Springboot嵌入式Servlet容器配置修改 1）、proper
Spring Boot 20天入门（day4）
Weleness的博客
05-18 4823
Spring Boot 20天入门（day4）SpingbootWeb开发SpringMVC自动配置ContentNegotiatingViewResolverWebJars与静态资源Converter，GenericConverter和Formatter自定义（拓展）SpringMVC自定义视图解析器自定义转换器完全接管SpringMVC国际化错误定制Springboot的默认错误处理策略Springboot 错误处理机制原理错误内容视图解析 SpingbootWeb开发 使用原生Spring和Sprin
Spring Boot 20天入门（day1）
Weleness的博客
05-16 4669
博主最近终于把一个又一个的项目搞定了，终于有时间沉淀下来学习技术了，最近打算重新学习Springboot，查漏补缺，在这个过程中的学习会记录在这里。 Spring Boot 20天入门（day1）什么是Springboot为什么要使用SpringbootSpringboot启动中心1、版本中心Spring-boot-starter-web:2、主程序类，主入口类使用Spring Initializer快速创建一个Springboot项目（IDEA）1、创建工程1、选择jdk版本2、点击next配置版本信息3
Spring Boot 20天入门（day6）
Weleness的博客
05-21 4576
一群热爱技术并且向往优秀的程序猿同学，不喜欢水文，不喜欢贩卖焦虑，只喜欢谈技术，分享的都是技术干货。Talk is cheap. Show me the code Spring Boot 20天入门（day6）Docker1、什么是Docker2、Docker的用途3、Docker安装4、image文件5、Docker常用命令查询拉取创建并运行容器停止或重新运行容器删除容器或删除镜像查看容器日志Springboot与数据访问JDBCSpringboot整合Druid数据源Springboot整合Mybat
Spring Boot 20天入门（day2）
Weleness的博客
05-16 4555
Spring Boot 20天入门（day2）Spring Boot 20天入门（day2）@PropertySource&@ImportResourceSpringboot 添加组件的方式Profile多环境支持1、多Profile文件2、yml支持多文档块方式3、激活指定profile配置文件的加载位置Springboot外部配置Springboot自动配置自动配置原理@EnableAutoConfigurationXXXAutoConfiguration 与 xxxProperties自动配置
Spring Boot 20天入门（day3）
Weleness的博客
05-18 4545
Spring Boot 20天入门（day3）Spring Boot 20天入门（day3）@Conditional及其派生注解Springboot与日志1、日志框架市面上的日志框架2、SLF4j使用如何让系统中的所有日志都统一到slf4j3、Springboot日志关系4、日志使用1、默认配置2、日志格式3、将日志输出到文件1）、日志输出到一个文件中2）、日志输出到一个文件夹下4、自定义日志配置 Spring Boot 20天入门（day3） @Conditional及其派生注解 ​ 原理：必须是@Con
Spring Boot 20天入门
Weleness的博客
05-16 4534
博主最近终于把一个又一个的项目搞定了，终于有时间沉淀下来学习技术了，最近打算重新学习Springboot，查漏补缺，在这个过程中的学习会记录在这里。 以下是各个部分的文章地址： Spring Boot 20天入门（day1） ...
Spring Boot 20天入门（day7）
Weleness的博客
05-22 3675
一群热爱技术并且向往优秀的程序猿同学，不喜欢水文，不喜欢贩卖焦虑，只喜欢谈技术，分享的都是技术干货。Talk is cheap. Show me the code Spring Boot 20天入门（day7）Springboot启动配置原理启动类注解@SpringbootApplication@SpringBootConfiguration@EnableAutoConfiguration@ComponentScanSpringbootApplication.run()自定义starter编写自定义sta
Spring Boot 20天入门（day8）
Weleness的博客
05-26 533
一群热爱技术并且向往优秀的程序猿同学，不喜欢水文，不喜欢贩卖焦虑，只喜欢谈技术，分享的都是技术干货。Talk is cheap. Show me the code Spring Boot 20天入门（day8）Springboot 缓存缓存使用缓存实战缓存原理CacheConfigurationSimpleCacheConfiguration@Cacheable运行原理Springboot整合redis整合测试存字符串存对象自定义RedisTemplate关于缓存的改变 Springboot 缓存 缓存使

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值