阿里云Elasticsearch搜索

一.ES介绍

1.ES全称Elasticsearch，是一种分布式，文档数据库。能够迅速扩展，存储以及处理PB级别数据，可以在段时间内做海量数据的查询，分析，搜索。

（1）分布式：es集群是由多个节点组成的。

（2）文档数据库：es的数据存储形式是文档，数据以文档形式存储在索引里，es中的索引类似mysql数据库中的表。

ES存储文档数据举例：

{
“name”:“段娇”,
“sex”:1,
“age”:24
}

二.阿里云ES介绍

阿里云ES服务是基于开源elasticsearch研发的全托管的es服务，完全兼容开源功能，开箱即用，按需计费。不仅集成了elasticsearch，logstash，kibana，beats等组件，还集成了商业版X-pack扩展包的sql，告警，监控等功能。

阿里云的ES版本包括：

通用商业版：提供全托管的ES服务，100%开源，同时包含全部X-pack高级特性。支持的版本较多。用于数据分析和数据搜索场景。

日志增强版：在高级特性基础上，优化增加了内核及插件，提供更好性能，更高稳定性，和更低成本。用于海量日志存储场景。

其中ES中的组件包括：

logstash：数据处理管道

数据节点：存储索引数据，对文档进行增删改查。

kibana节点：可视化界面，管理es数据库。

专有主节点：对集群进行操作，例如创建删除索引，默认情况下任一节点会被选为专有主节点。

冷数据节点：存储冷数据，用于冷热数据分离。

协调节点：分担数据节点CPU开销，如果业务是CPU密集型业务，可以购买协调节点。

弹性节点：提供弹性扩缩功能，在业务高峰期增加资源，低峰期减少资源。

beats：数据采集

三.ES与mysql区别

mysql和ES对比

对比项

mysql

ES

数据库类别

关系型数据库

分布式文档数据库

存储类型

结构化数据，表

非结构化数据，文档

存储量

TB

PB

数据处理能力

事务，二级索引

全文检索

应用场景

核心业务，结构化数据存储

文档数据，日志海量存储分析

四.ES应用场景

1.日志分析，elk三件套搭建日志收集分析平台。

2.信息检索，es用于PB级数据快速检索，查询。

3.数据智能，es用于大数据分析

五.ES使用

1.ES迁移

2.数据库同步

3.大数据云产品同步

4.存储产品迁移

5.ES-Hadoop使用

6.日志采集与分析

7.服务器数据采集

8.集群管理

六.RDS同步到ES

同步方式

原理

场景

限制

DTS

binlog日志同步，毫秒级

实时性要求高

占用数据库资源，需要购买DTS实例

logstas

Logstash批量查询数据并存储到es，秒级延迟

同步全量数据，接收秒级延迟

dataworks离线数据同步

引入RDS结构化数据，进行转化然后存储到es

接收离线同步