在springBoot 中使用Elasticsearch
Elasticsearch是一个全文本搜索引擎,专门用于处理大型数据集。根据此描述,自然使用它来存储和搜索应用程序日志。与Logstash和Kibana一起,它是称为Elastic Stack的强大解决方案的一部分。
保留应用程序日志并不是Elasticsearch的唯一的一种用法。它通常用作具有主关系数据库的应用程序的辅助数据库。如果您必须对大型数据集执行全文搜索,或者仅存储许多不再由应用程序修改的历史记录,则这种方法特别有用。当然,对于这种方法的优缺点总是存在疑问。 当使用包含相同数据的两个不同数据源时,必须首先考虑同步。您有几种选择。根据关系数据库供应商的不同,您可以利用包含SQL更新历史记录的二进制或事务日志。这种方法需要一些中间件,该中间件先读取日志,然后将数据放入Elasticsearch。您始终可以将全部责任移到数据库端(触发)或Elasticsearch端(JDBC插件)。 无论您如何将数据导入Elasticsearch,都必须考虑另一个问题。数据结构。您可能在关系数据库中的几个表之间分配了数据。如果您想利用Elasticsearch的优势,则应将其存储为单个类型。它迫使您保留冗余数据,从而导致更大的磁盘空间使用。当然,如果查询比关系数据库中的等效查询运行得更快,那么这种效果是可以接受的。好的,在介绍了很长时间之后,让我们继续该示例。Spring Boot提供了一种通过Spring Data存储库与Elasticsearch进行交互的简便方法。
1.启用ELASTICSEARCH支持
按照Spring Boot的习惯,我们不必在上下文中提供任何其他Bean来支持对Elasticsearch的支持。我们只需要包括以下对我们的依赖pom.xml:
org.springframework.boot spring-boot-starter-data-elasticsearch
默认情况下,应用程序尝试与localhost上的Elasticsearch连接。如果我们使用另一个目标URL,则需要在配置设置中覆盖它。这是我们application.yml文件的片段,它将默认集群名称和地址覆盖为在Docker容器上启动的Elasticsearch的地址:
spring: data: elasticsearch: cluster-name: docker-cluster cluster-nodes: 192.168.99.100:9300
应用程序可以通过Spring Boot Actuator health端点公开Elasticsearch连接的健康状态。首先,您需要包括以下Maven依赖项:
org.springframework.boot spring-boot-starter-actuator
默认情况下,运行状况检查是启用的,并且Elasticsearch检查是自动配置的。但是,此验证是通过Elasticsearch Rest API客户端执行的。在这种情况下,我们需要重写spring.elasticsearch.rest.uris负责设置REST客户端使用的地址的属性:
spring: elasticsearch: rest: uris: http://192.168.99.100:9200
2.运行ELASTICSEARCH
对于我们的测试,我们需要在开发模式下运行的单节点Elasticsearch实例。和往常一样,我们将使用Docker容器。这是启动Docker容器并将其公开在port 9200和上的命令9300。
$ docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:6.6.2
3.建立SPRING数据仓库
要启用Elasticsearch存储库,我们只需要使用以下方法注释main或configuration类
@EnableElasticsearchRepositories:@SpringBootApplication@EnableElasticsearchRepositoriespublic class SampleApplication { ... }
下一步是创建扩展的存储库接口CrudRepository。它提供了一些基本操作,例如save或findById。如果您想要其他一些find方法,则应遵循Spring Data命名约定在接口内定义新方法。
public interface EmployeeRepository extends CrudRepository { List findByOrganizationName(String name); List findByName(String name); }
4.实体对象
我们的实体的关系结构被平整到单个Employee包含相关对象(对象Organization,Department)。您可以将这种方法与在RDBMS中为一组相关表创建视图进行比较。在Spring Data Elasticsearch命名法中,单个对象存储为文档。因此,您需要使用注释您的对象@Document。您还应该设置Elasticsearch目标索引的名称,类型和ID。可以使用@Field注释配置其他映射。
@Document(indexName = "sample", type = "employee")public class Employee { @Id private Long id; @Field(type = FieldType.Object) private Organization organization; @Field(type = FieldType.Object) private Department department; private String name; private int age; private String position; // Getters and Setters ... }
5.初始化
正如我在序言中提到的那样,您可能决定使用Elasticsearch的主要原因是需要处理大数据。因此,需要用许多文档填充我们的测试Elasticsearch节点。如果您想一步插入许多文档,则绝对应该使用Bulk API。批量API使在单个API调用中执行许多索引/删除操作成为可能。这样可以大大提高索引速度。批量操作可以通过Spring Data ElasticsearchTemplatebean 执行。它还在Spring Boot上自动配置。模板提供bulkIndex了将索引查询列表作为输入参数的方法。这是在应用程序启动时插入样本测试数据的bean的实现:
public class SampleDataSet { private static final Logger LOGGER = LoggerFactory.getLogger(SampleDataSet.class); private static final String INDEX_NAME = "sample"; private static final String INDEX_TYPE = "employee"; @Autowired EmployeeRepository repository; @Autowired ElasticsearchTemplate template; @PostConstruct public void init() { for (int i = 0; i < 10000; i++) { bulk(i); } } public void bulk(int ii) { try { if (!template.indexExists(INDEX_NAME)) { template.createIndex(INDEX_NAME); } ObjectMapper mapper = new ObjectMapper(); List queries = new ArrayList<>(); List employees = employees(); for (Employee employee : employees) { IndexQuery indexQuery = new IndexQuery(); indexQuery.setId(employee.getId().toString()); indexQuery.setSource(mapper.writeValueAsString(employee)); indexQuery.setIndexName(INDEX_NAME); indexQuery.setType(INDEX_TYPE); queries.add(indexQuery); } if (queries.size() > 0) { template.bulkIndex(queries); } template.refresh(INDEX_NAME); LOGGER.info("BulkIndex completed: {}", ii); } catch (Exception e) { LOGGER.error("Error bulk index", e); } } // sample data set implementation ... }
如果您不需要在启动时插入数据,则可以通过将属性设置initial-import.enabled为禁用该过程false。这是SampleDataSetbean 的声明:
@Bean@ConditionalOnProperty("initial-import.enabled")public SampleDataSet dataSet() { return new SampleDataSet();}
6.查看数据并运行查询
假设您已经启动了示例应用程序,负责批量索引的bean没有被禁用,并且您有足够的耐心等待几个小时,直到所有数据都已插入到Elasticsearch节点中,现在它包含employee类型为100M的文档。值得显示有关集群的一些信息。您可以使用Elasticsearch查询来执行此操作,也可以下载可用的GUI工具之一,例如ElasticHQ。幸运的是,ElasticHQ也可以作为Docker容器使用。您必须执行以下命令以使用ElasticHQ启动容器:
$ docker run -d --name elastichq -p 5000:5000 elastichq/elasticsearch-hq
启动ElasticHQ GUI后,可以通过端口5000上的Web浏览器访问GUI。其Web控制台提供有关集群,索引的基本信息,并允许执行查询。您只需要输入Elasticsearch节点地址,即可使用统计信息将您重定向到主仪表板。这是ElasticHQ的主要仪表板。
如您所见,我们有一个索引,称为sample5个分片。这是Spring Data提供的默认值@Document,可以用field覆盖shards。单击它后,我们可以导航到索引管理面板。您可以对索引执行一些操作,例如清除缓存或刷新索引。您还可以查看所有分片的统计信息。
为了当前的测试目的,我有大约2500万个(大约3GB的空间)Employee类型的文档。我们可以执行一些测试查询。我已经公开了两个搜索端点:按员工姓名GET /employees/{name}和按组织名称GET /employees/organization/{organizationName}。结果并不压倒一切。我认为使用相同数量的数据可以为关系数据库带来相同的结果。
7.测试
好的,我们已经完成开发并在大数据集上执行了一些手动测试。现在,是时候创建一些在内置时间运行的集成测试了。我们可以使用允许在JUnit测试期间自动使用数据库启动Docker容器的库– Testcontainers。有关此库的更多信息,请访问其站。幸运的是,Testcontainers支持Elasticsearch。要在测试范围内启用它,您首先需要包括以下对您的依赖pom.xml:
org.testcontainers elasticsearch 1.11.1 test
下一步是定义@ClassRule或@Rule指向Elasticsearch容器的bean。它会在测试类之前或在每个类之前自动启动,具体取决于您使用的注释。公开的端口号是自动生成的,因此您需要检索设置为spring.data.elasticsearch.cluster-nodes属性值的端口号。这是我们的JUnit集成测试的完整实现:
@RunWith(SpringRunner.class)@SpringBootTest@FixMethodOrder(MethodSorters.NAME_ASCENDING)public class EmployeeRepositoryTest { @ClassRule public static ElasticsearchContainer container = new ElasticsearchContainer(); @Autowired EmployeeRepository repository; @BeforeClass public static void before() { System.setProperty("spring.data.elasticsearch.cluster-nodes", container.getContainerIpAddress() + ":" + container.getMappedPort(9300)); } @Test public void testAdd() { Employee employee = new Employee(); employee.setId(1L); employee.setName("John Smith"); employee.setAge(33); employee.setPosition("Developer"); employee.setDepartment(new Department(1L, "TestD")); employee.setOrganization(new Organization(1L, "TestO", "Test Street No. 1")); employee = repository.save(employee); Assert.assertNotNull(employee); } @Test public void testFindAll() { Iterable employees = repository.findAll(); Assert.assertTrue(employees.iterator().hasNext()); } @Test public void testFindByOrganization() { List employees = repository.findByOrganizationName("TestO"); Assert.assertTrue(employees.size() > 0); } @Test public void testFindByName() { List employees = repository.findByName("John Smith"); Assert.assertTrue(employees.size() > 0); } }