原生java整合elasticsearch的API地址:(类似JDBC)
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.2/java-docs.html
Elasticsearch提供的Java客户端有一些不太方便的地方:
- 很多地方需要拼接Json字符串,在java中拼接字符串有多恐怖你应该懂的
- 需要自己把对象序列化为json存储
- 查询到结果也需要自己反序列化为对象
因此,我们这里就不讲解原生的Elasticsearch客户端API了。
而是学习Spring提供的套件:Spring Data Elasticsearch
1.1.简介
Spring Data Elasticsearch是Spring Data项目下的一个子模块。
查看 Spring Data的官网:http://projects.spring.io/spring-data/
Spring Data 是的使命是给各种数据访问提供统一的编程接口,不管是关系型数据库(如MySQL),还是非关系数据库(如Redis),或者类似Elasticsearch这样的索引数据库。从而简化开发人员的代码,提高开发效率。
包含很多不同数据操作的模块:
Spring Data Elasticsearch的页面:https://projects.spring.io/spring-data-elasticsearch/
特征:
- 支持Spring的基于@Configuration的java配置方式,或者XML配置方式
- 提供了用于操作ES的便捷工具类ElasticsearchTemplate。包括实现文档到POJO之间的自动智能映射。
- 利用Spring的数据转换服务实现的功能丰富的对象映射
- 基于注解的元数据映射方式,而且可扩展以支持更多不同的数据格式
- 根据持久层接口自动生成对应实现方法,无需人工编写基本操作代码(类似mybatis,根据接口自动得到实现)。当然,也支持人工定制查询
1.2.创建Demo工程
我们新建一个demo,学习Elasticsearch
pom依赖:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.czxy</groupId>
<artifactId>bos-es</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>bos-es</name>
<description>Demo project for Spring Boot</description>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.0.1.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
application.yml文件配置:
spring:
data:
elasticsearch:
cluster-name: my-application
cluster-nodes: 127.0.0.1:9300 # 程序连接es的端口号是9300
1.3.索引操作
1.3.1.创建索引和映射
SpringBoot-data-elasticsearch提供了面向对象的方式操作elasticsearch
业务:将商品的信息存入elasticsearch,并且执行搜索操作
创建一个商品对象,有这些属性:
答:id 编号,title 标题,category 分类,brand 品牌,price 价格, 图片地址
在SpringDataElasticSearch中,只需要操作对象,就可以操作elasticsearch中的数据
实体类
首先我们准备好实体类:
public class Item {
private Long id;
private String title; //标题
private String category;// 分类
private String brand; // 品牌
private Double price; // 价格
private String images; // 图片地址
}
映射—注解
Spring Data通过注解来声明字段的映射属性,有下面的三个注解:
- @Document 作用在类,标记实体类为文档对象,一般有两个属性
- indexName:对应索引库名称
- type:对应在索引库中的类型
- shards:分片数量,默认5
- replicas:副本数量,默认1
- @Id 作用在成员变量,标记一个字段作为id主键
- @Field 作用在成员变量,标记为文档的字段,并指定字段映射属性:
- type:字段类型,是枚举:FieldType,可以是text、long、short、date、integer、object等
- text:存储数据时候,会自动分词,并生成索引
- keyword:存储数据时候,不会分词建立索引
- Numerical:数值类型,分两类
- 基本数据类型:long、interger、short、byte、double、float、half_float
- 浮点数的高精度类型:scaled_float
- 需要指定一个精度因子,比如10或100。elasticsearch会把真实值乘以这个因子后存储,取出时再还原。
- Date:日期类型
- elasticsearch可以对日期格式化为字符串存储,但是建议我们存储为毫秒值,存储为long,节省空间。
- index:是否索引,布尔类型,默认是true
- store:是否存储,布尔类型,默认是false
- analyzer:分词器名称,这里的ik_max_word即使用ik分词器
- type:字段类型,是枚举:FieldType,可以是text、long、short、date、integer、object等
示例:
@Document(indexName = "item",type = "docs", shards = 1, replicas = 0)
public class Item {
@Id
private Long id;
@Field(type = FieldType.Text, analyzer = "ik_max_word")
private String title; //标题
@Field(type = FieldType.Keyword)
private String category;// 分类
@Field(type = FieldType.Keyword)
private String brand; // 品牌
@Field(type = FieldType.Double)
private Double price; // 价格
@Field(index = false, type = FieldType.Keyword)
private String images; // 图片地址
}
创建索引
ElasticsearchTemplate中提供了创建索引的API:
映射
映射相关的API:
一样,可以根据类的字节码信息(注解配置)来生成映射,或者手动编写映射
我们这里采用类的字节码信息创建索引并映射:
@Test
public void createIndex() {
// 创建索引,会根据Item类的@Document注解信息来创建
esTemplate.createIndex(Item.class);
// 配置映射,会根据Item类中的id、Field等字段来自动完成映射
esTemplate.putMapping(Item.class);
}
索引信息:
1.3.2.删除索引
删除索引的API:
可以根据类名或索引名删除。
示例:
@Test
public void deleteIndex() {
esTemplate.deleteIndex(Item.class);
// 根据索引名字删除
//esTemplate.deleteIndex("item1");
}
结果:OK
1.4.新增文档数据
1.4.1.Repository接口
Spring Data 的强大之处,就在于你不用写任何DAO处理,自动根据方法名或类的信息进行CRUD操作。只要你定义一个接口,然后继承Repository提供的一些子接口,就能具备各种基本的CRUD功能。
来看下Repository的继承关系:
我们看到有一个ElasticsearchCrudRepository接口:
所以,我们只需要定义接口,然后继承它就OK了。
public interface ItemRepository extends ElasticsearchRepository<Item,Long> {
}
接下来,我们测试新增数据:
1.4.1 新增一个对象
@Autowired
private ItemRepository itemRepository;
@Test
public void index() {
Item item = new Item(1L, “小米手机7”, " 手机",
“小米”, 3499.00, “http://image.baidu.com/13123.jpg”);
itemRepository.save(item);
}
去页面查询看看:
1.4.2 批量新增
代码:
@Test
public void indexList() {
List<Item> list = new ArrayList<>();
list.add(new Item(2L, "坚果手机R1", " 手机", "锤子", 3699.00, "http://image.baidu.com/13123.jpg"));
list.add(new Item(3L, "华为META10", " 手机", "华为", 4499.00, "http://image.baidu.com/13123.jpg"));
// 接收对象集合,实现批量新增
itemRepository.saveAll(list);
}
再次去页面查询:
1.4.3 修改
elasticsearch中本没有修改,它是先删除再新增
修改和新增是同一个接口,区分的依据就是id。
@Test
public void index(){
Item item = new Item(1L, "苹果XSMax", " 手机",
"小米", 3499.00, "http://image.baidu.com/13123.jpg");
itemRepository.save(item);
}
查看结果:
1.5.查询
ElasticsearchRepository提供了一些基本的查询方法:
1.5.1.基本查询
ElasticsearchRepository提供了一些基本的查询方法:
我们来试试查询所有:
@Test
public void testFindAll(){
//1 查找所有
// Iterable<Item> item = itemRepository.findAll();
// Iterator<Item> it = item.iterator();
// while (it.hasNext()){
// System.out.println(it.next());
// }
//2 分页查找
// Page<Item> page = itemRepository.findAll(PageRequest.of(1, 5));
//
// for(Item item:page){
// System.out.println(item);
// }
//3 排序
Iterable<Item> iterable = itemRepository.findAll(Sort.by("price").descending());
Iterator<Item> it = iterable.iterator();
while(it.hasNext()){
System.out.println(it.next());
}
}
1.5.2.自定义查询
-
matchQuery:词条匹配,先分词然后在调用termQuery进行匹配
-
TermQuery:词条匹配,不分词
-
wildcardQuery:通配符匹配
-
fuzzyQuery:模糊匹配
-
rangeQuery:范围匹配
-
booleanQuery:布尔查询
1.5.2.1 match query:
@Test
public void search(){
// 构建查询条件
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 添加基本分词查询
queryBuilder.withQuery(QueryBuilders.matchQuery("title", "小米手机"));
// 搜索,获取结果
Page<Item> items = this.itemRepository.search(queryBuilder.build());
// 总条数
long total = items.getTotalElements();
System.out.println("total = " + total);
for (Item item : items) {
System.out.println(item);
}
}
- NativeSearchQueryBuilder:Spring提供的一个查询条件构建器,帮助构建json格式的请求体
- QueryBuilders.matchQuery(“title”, “小米手机”):利用QueryBuilders来生成一个查询。QueryBuilders提供了大量的静态方法,用于生成各种不同类型的查询:
Page:默认是分页查询,因此返回的是一个分页的结果对象,包含属性:
- totalElements:总条数
- totalPages:总页数
- Iterator:迭代器,本身实现了Iterator接口,因此可直接迭代得到当前页的数据
- 其它属性:
结果:
1.5.2.2 termQuery
@Test
public void testTermQuery(){
// 查询条件生成器
NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
builder.withQuery(QueryBuilders.termQuery("title","小米"));
// 查询 自动分页 ,默认查找第一页的10条数据
Page<Item> list = this.itemRepository.search(builder.build());
for(Item item:list){
System.out.println(item);
}
}
1.5.2.2 fuzzyQuery
@Test
public void testFuzzyQuery(){
NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
builder.withQuery(QueryBuilders.fuzzyQuery("title","faceoooo"));
Page<Item> list = this.itemRepository.search(builder.build());
for(Item item:list){
System.out.println(item);
}
}
1.5.2.4 booleanQuery
BooleanQuery(组合查询)
**
注意点:
BooleanClause用于表示布尔查询子句关系的类,包括:BooleanClause.Occur.MUST,BooleanClause.Occur.MUST_NOT,BooleanClause.Occur.SHOULD。必须包含,不能包含,可以包含三种.有以下6种组合:
1.MUST和MUST:交集。
2.MUST和MUST_NOT:表示查询结果中不能包含MUST_NOT所对应得查询子句的检索结果。
3.SHOULD与MUST_NOT:连用时,功能同MUST和MUST_NOT。
4.SHOULD与MUST连用时,结果为MUST子句的检索结果,但是SHOULD可影响排序。
5.SHOULD与SHOULD:并集。
6.MUST_NOT和MUST_NOT:无意义,检索无结果。
@Test
public void testBooleanQuery(){
NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
builder.withQuery(QueryBuilders.boolQuery().must(QueryBuilders.termQuery("title","手机"))
.must(QueryBuilders.termQuery("brand","小米"))
);
Page<Item> list = this.itemRepository.search(builder.build());
for(Item item:list){
System.out.println(item);
}
}
1.5.2.5 RangeQuery
范围查找
@Test
public void testRangeQuery(){
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// queryBuilder.withQuery(QueryBuilders.fuzzyQuery("title","小目"));
queryBuilder.withQuery(QueryBuilders.rangeQuery("price").from(3000).to(4000));
Page<Item> page = itemRespository.search(queryBuilder.build());
for(Item i:page){
System.out.println(i);
}
}
1.5.2.6 总的测试代码:
/**
* match底层是词条匹配
*/
@Test
public void testMathcQuery(){
// 查询条件生成器
NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
builder.withQuery(QueryBuilders.matchQuery("title","小米"));
// 查询 自动分页 ,默认查找第一页的10条数据
Page<Item> list = this.itemRepository.search(builder.build());
for(Item item:list){
System.out.println(item);
}
}
@Test
public void testTermQuery(){
// 查询条件生成器
NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
builder.withQuery(QueryBuilders.termQuery("title","小米"));
// 查询 自动分页 ,默认查找第一页的10条数据
Page<Item> list = this.itemRepository.search(builder.build());
for(Item item:list){
System.out.println(item);
}
}
@Test
public void testFuzzyQuery(){
NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
builder.withQuery(QueryBuilders.fuzzyQuery("title","faceoooo"));
Page<Item> list = this.itemRepository.search(builder.build());
for(Item item:list){
System.out.println(item);
}
}
@Test
public void testBooleanQuery(){
NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
builder.withQuery(QueryBuilders.boolQuery().must(QueryBuilders.termQuery("title","手机"))
.must(QueryBuilders.termQuery("brand","小米"))
);
Page<Item> list = this.itemRepository.search(builder.build());
for(Item item:list){
System.out.println(item);
}
}
@Test
public void testRangeQuery(){
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// queryBuilder.withQuery(QueryBuilders.fuzzyQuery("title","小目"));
queryBuilder.withQuery(QueryBuilders.rangeQuery("price").from(3000).to(4000));
Page<Item> page = itemRespository.search(queryBuilder.build());
for(Item i:page){
System.out.println(i);
}
}
1.5.3.排序
排序也通用通过NativeSearchQueryBuilder完成:
@Test
public void searchAndSort(){
// 构建查询条件
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 添加基本分词查询
queryBuilder.withQuery(QueryBuilders.termQuery("category", "手机"));
// 排序
queryBuilder.withSort(SortBuilders.fieldSort("price").order(SortOrder.ASC));
// 搜索,获取结果
Page<Item> items = this.itemRepository.search(queryBuilder.build());
// 总条数
long total = items.getTotalElements();
System.out.println("总条数 = " + total);
for (Item item : items) {
System.out.println(item);
}
}
结果:
1.6 总结回顾
1 ElasticSearch是什么?
2 ElasticSearch的安装—jdk版本有问题,应该安装jdk64位的
3 ElasticSearch-head的安装
4 ik分词器-----专业的中文分词器
注意事项:一定要下载对应elasticsearch版本的ik分词器
https://github.com/medcl/elasticsearch-analysis-ik/releases
5 SpringDataElasticsearch-----
---索引操作---ElasticsearchTemplate
----数据操作--Respository
- 提供了对数据的CRUD
- 提供了自定义方法
6 自定义查询-NativeSearchQueryBuilder
- TermQuery
- MatchQuery
- WildcardQuery
- FuzzyQuery
- BooleanQuery
- rangeQuery