springboot+elasticsearch组合使用

由于有一个需求要求存放日志，常用的mysql数据库明显不够用，因此引入了新的数据库存放。
一、下载安装
下载地址
这里要注意要先确定自己jdk、springboot的版本，因为elasticsearch对这些的版本也有要求
对应参照表
这里我使用的是springboot 2.1.7.RELEASE、jdk1.8、elasticsearch6.8.2，安装好后我们可以打开浏览器访问http://localhost:9200/
如果版本不匹配的话可能在springboot启动时候找不到elasticsearch节点而报错。
为了辅助elasticsearch我们安装另外两个工具kibana和elk分词器，如果需要分词功能的话。

点击elasticsearch.bat启动

观察启动过程中是否因为jdk版本问题报错。
在正常启动后建议使用kibana打开查看下，这里补充下kibana安装前需要先装nodejs

启动后访问http://localhost:5601
先在management中将自己的elasticsearch节点加上

接着我们尝试在Dev-tools栏下新建一个，新建完成后我们可以看到management中多了一个节点，这表明我们elasticsearch运行正常，这里也可以通过 get+名称来获取数据库中表的信息。

二、结合springboot

<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <optional>true</optional>
        </dependency>

加入引用，配置启动，新建application.yml或者在application.properties中添加

spring:
  data:
    elasticsearch:
      cluster-name: elasticsearch
      cluster-nodes: localhost:9300
  jackson:
    default-property-inclusion: non_null

这里有一个坑，走了很久。elasticsearch对http的端口是9200对java的端口是9300，当然你可以自己配置
配置文件在elasticsearch目录下的elasticsearch.yml文件
同时java访问需要在yml文件中新增发布主机地址
network.publish_host: 0.0.0.0
这里选了本机地址
如何使用springboot对数据进行curd呢，这里我感觉spring-data-elasticsearch功能真的好用
（1）新建bean

这里大家在选type时候尽量不要用auto且后期不要改动，开始就要确认好。

import com.fasterxml.jackson.annotation.JsonFormat;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.DateFormat;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

@Document(indexName = "logs",type = "docs", shards = 1, replicas = 0)
public class LogElasticsearch {
    @Id
    private String id;

    @Field(type = FieldType.Integer)
    private Integer deviceid;

    @Field( type = FieldType.Date,format = DateFormat.custom,
            pattern = "yyyy-MM-dd HH:mm:ss || yyyy-MM-dd || yyyy/MM/dd HH:mm:ss|| yyyy/MM/dd ||epoch_millis")//不行没有格式
    @JsonFormat(shape = JsonFormat.Shape.STRING, pattern ="yyyy-MM-dd HH:mm:ss")
    private String collecttime;

    @Field(type = FieldType.Object)
    private DataSource dataSource;

    @Field(type = FieldType.Keyword)
    private String logtime;

    @Field(type = FieldType.Integer)
    private Integer logseverty;

    @Field(type = FieldType.Keyword)
    private String logsevertyname;

    @Field(type = FieldType.Keyword)
    private String logbrief;

    @Field(type = FieldType.Text)
    private String logtext;

    @Field(type = FieldType.Integer)
    private Integer logdatatype;

    public Integer getLogdatatype() {
        return logdatatype;
    }

    public void setLogdatatype(Integer logdatatype) {
        this.logdatatype = logdatatype;
    }

    public String getId() {
        return id;
    }

    public void setId(String id) {
        this.id = id;
    }

    public Integer getDeviceid() {
        return deviceid;
    }

    public void setDeviceid(Integer deviceid) {
        this.deviceid = deviceid;
    }

    public String getCollecttime() {
        return collecttime;
    }

    public void setCollecttime(String collecttime) {
        this.collecttime = collecttime;
    }

    public DataSource getDataSource() {
        return dataSource;
    }

    public void setDataSource(DataSource dataSource) {
        this.dataSource = dataSource;
    }

    public String getLogtime() {
        return logtime;
    }

    public void setLogtime(String logtime) {
        this.logtime = logtime;
    }

    public Integer getLogseverty() {
        return logseverty;
    }

    public void setLogseverty(Integer logseverty) {
        this.logseverty = logseverty;
    }

    public String getLogsevertyname() {
        return logsevertyname;
    }

    public void setLogsevertyname(String logsevertyname) {
        this.logsevertyname = logsevertyname;
    }

    public String getLogbrief() {
        return logbrief;
    }

    public void setLogbrief(String logbrief) {
        this.logbrief = logbrief;
    }

    public String getLogtext() {
        return logtext;
    }

    public void setLogtext(String logtext) {
        this.logtext = logtext;
    }
}

（2）curd
这里我们写一个借口去继承ElasticsearchRepository

@Repository
public interface ElasticsearcherRes extends ElasticsearchRepository<LogElasticsearch,String> 

这个方法是真的方便，后期我们的增删改全部可以调用ElasticsearchRepository去实现
例如通过deviceid查找所有数据

@Repository
public interface ElasticsearcherRes extends ElasticsearchRepository<LogElasticsearch,String> {

    List<LogElasticsearch> findAllByDeviceid(Integer deviceId);

只需要改改名字就好了，语句什么的都不用写，是不是很方便
（3）分页介绍

 Page<LogElasticsearch> findByDeviceidAndLogsevertyBetween(Integer deviceid,
                                                                      Integer fromlogserverty,Integer
                                                                              tologserverty,Pageable pageable);

也是在ElasticsearchRepository中直接返回Page传入的Pageable，例如PageRequest.of(0,10)

Page<LogElasticsearch> p0 = elasticsearcherRes.findByDeviceidOrderByCollecttimeDesc(deviceid,PageRequest.of(start,size));

首次写入时，elasticsearch会根据type自动匹配创建结构类型

用kibana查看

书写不易，引用请注明出处。