Springboot之整合ElasticSearch使用

一、引入

 

（来自infoq）据外媒报道，1月22日，美国一家网上赌场集团泄露了超过 1.08 亿笔投注信息，包括客户个人资料，存取款记录、家庭住址、电话号码、电子邮件地址、出生日期、网站用户名、帐户余额、IP 地址、浏览器、操作系统信息、上次登录信息和游戏列表，甚至包含当前投注、获胜、用于交易的银行卡等详细信息。

 

该服务器被安全研究员 Justin Paine 发现，数据泄露源头竟然是 ElasticSearch 服务器，该服务器没有密码保护，不需要身份验证且很明显信息来源于在线投注门户网站。

 

近年关于ElasticSearch 的安全事故频发

 

ElasticSearch 是一个搜索引擎，企业一般用它来改进自有网络内的数据索引和搜索功能，通常会装在内部网络用来处理公司机密信息，信息不会泄露在网上，因为通常处理的是公司内部最敏感的信息。

 

虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数：

 

2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1% 的 Elasticsearch 启用了验证插件，另外有 2% 则关闭了 Elasticsearch。

 

2018 年 11 月份，美国还曾发生一起 ElasticSearch 服务器在没有密码的开放状态下泄露了将近 5700 万美国民众个人信息的事件。当时共泄漏超过 73GB 数据，并且几个数据库被缓存在服务器内存中，其中一个数据库包含的个人信息就达到了 56,934,021 份。

 

2018 年 12 月份，巴西最大的订阅电视服务之一的 Sky Brasil 在没有密码的情况下将 ElasticSearch 服务器暴露在互联网上，其 3200 万客户数据在网上暴露了很长时间，存储数据包括客户姓名、电子邮件地址、密码、付费电视包数据、客户端 IP 地址、个人地址、付款方式、设备型号等。

 

回顾几起案例，相似之处在于 ElasticSearch 服务器均在没有密码保护的情况下遭到泄露，因此企业应该对该服务器进行加密，如果不喜欢付费软件，网络中也有很多开源工具可供选择；其次，升级目前所用的 ElasticSearch 版本，较高版本暂时安全性更好；最后，如果选用了与 ElasticSearch 一起使用的集成工具，也需要检查这些工具是否会存在漏洞并做好加密工作。

 

那为什么不加密呢？我想有一个重要的原因，那还不是人家收费嘛。官方集成的Plugin - Xpack就有安全这一功能。但是！要收费，要收费，要收费。

 

扯了这么多，那为啥我们还用它啊，因为它好用啊。

 

二、具体配置

关于安全，或者网关权限，业内有各式各样的曲线救国办法。比如Nginx中配置htpasswd等等，想了解的网上一搜就会有很多。今天，我们来说一个由Spring公司的spring-data-elasticsearch对ES数据的简单集成和使用。所谓，站在巨人的肩膀上用现成的工具，从开发效率上讲，可谓是事半功倍。

 

使用前提：

 

• JDK8+

• Springboot 2.1.1.RELEASE

• IDEA

• Mysql5.5+

• lombok

• Greenwich.RELEASE（如果有集成Cloud，建议使用）

 

1、pom.xml

 

     <groupId>com.bboyHan</groupId>
     <artifactId>demo-project</artifactId>
     <packaging>pom</packaging>
     <version>1.0-SNAPSHOT</version>
 
     <parent>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-starter-parent</artifactId>
         <version>2.1.1.RELEASE</version>
    </parent>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>Greenwich.RELEASE</version>
                <!--<version>Edgware.SR3</version>-->
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        ...

        <!-- 对应es 6.2.2 version-->
        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
       </dependency>
        ...
    </dependencies>

 

2、application.yml

 

 server:
   port: 8080
 
 spring:
   profiles:
     active: dev
   application:
     name: @pom.artifactId@
 
  data:
    elasticsearch:
      cluster-name: my-application # 对应es.yml里的cluster.name
      cluster-nodes: 127.0.0.1:9300
      repositories:
        enabled: true

  datasource:
    url: jdbc:mysql://localhost:3306/bboyhan?characterEncoding=UTF-8&useUnicode=true&useSSL=false
    username: root
    password: root
    type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: com.mysql.cj.jdbc.Driver

 

补充：

Mysql在升级6之后，Driver有了新的变化，使用的是“com.mysql.cj.jdbc.Driver”，之前的“com.mysql.jdbc.Driver”已经弃用。另外，如果大家使用了JDBC连接Mysql6 com.mysql.cj.jdbc.Driver， 需要指定时区serverTimezone。

 

  datasource:
    url: jdbc:mysql://localhost:3306/bboyHan?serverTimezone=UTC&useSSL=false

 

三、写代码

最近工作比较忙，小编代码命名比较随意了，就是传统的MVC，大家凑合看哈。

 

3、Controller

 

 @RestController
 public class TestController {
 
     @Autowired
     private TestService testService;
 
     @GetMapping("/test")
     public Result test() {
         return testService.test();
    }
}

 

4、Service

 

 /**
  * @Auther: bboyHan
  * @Date: 2019/1/23 19:24
  */
 @Service
 public class TestService {
 
     @Autowired
     private TestEsRepo testEsRepo;

    public Result test() {
        TestEs entity = new TestEs();
        testEsRepo.save(entity);
        return Result.success(save);
    }
}

 

5、repository

 

/**
 * @Auther: bboyHan
 * @Date: 2019/1/23 19:20
 */
@Repository
public interface TestEsRepo extends ElasticsearchRepository<TestEs,Long>{
}

 

6、entity

 

 import lombok.Data;
 /**
  * @Auther: bboyHan
  * @Date: 2019/1/23 19:15
  * @Description:
  */
 @Data
 public class TestEs {
 
    private Long id;
    private String name;
    private String money;

}

 

7、启动类

 

@SpringBootApplication
@EnableElasticsearchRepositories
public class SearchApplication {

    public static void main(String[] args) {
        SpringApplication.run(SearchApplication.class, args);
    }
}

 

到这里就完成了，亲测可行。

 

 

本公众号致力于做一个

非营利性质

技术资源共享交流平台

 

如有收获，请帮忙转发

您的鼓励是作者最大的动力，谢谢！

 

 

----------往期精彩----------  

• 精品资源汇总，持续更新！！！