Elasticsearch 结合大数据产品最佳实践

摘要：本文整理自阿里云解决方案架构师闫勖勉（三秋）在 阿里云Elasticsearch 自研引擎年度发布 的演讲。主要内容包括：

1. Elasticsearch 与大数据

2. 经典应用与案例分析

Tips：点击「阅读原文」查看原文视频

一、Elasticsearch 与大数据

1、Elasticsearch 是什么？

Elasticsearch（简称 ES）是业内最主流的信息检索、分析引擎，DB-Engine指数排行“全球热度No.8数据库，全球热度No.1检索引擎”。

Elasticsearch 及配套产品，组合成 Elastic Stack 大数据平台，主要的四款核心产品是 Beats、Logstash、Elasticsearch 和 Kibana。

• Beats：负责数据的采集和投递；

• Logstash：负责数据传输以及ETL中间预处理；

• Elasticsearch：负责数据的存储、计算、查询及分析；

• Kibana：提供可视化管理以及报表和分析工具；

社区官方提供的三大解决方案分别是：Elastic企业搜索、Elastic全观测性和Elastic安全。同时，在云上还提供具有高性能的增强版内核版本。

2、Elasticsearch 解决什么问题

• 数据库加速：主要解决数据库进行复杂查询时的性能瓶颈，使用 ES 作为数据库二级索引加速可以在提升查询速度的同时降低主库的压力避免产生线上业务风险；

• 日志全观察：在 ELK 体系下通过 Kibana 同一平台同一时间轴分析应用系统出现问题，进行统一管控；

• 数据分析：运用 ES 的结构化和非结构化查询能力作为查询引擎进行数据分析。

3、如何解决

ES 底层拥有强大的引擎能力：