02 ElasticStack家族成员及其应用场景

ElasticStack家族成员及其应用场景

一.Elastic Stack生态圈

1.Logstash：数据处理管道

• 开源的服务器端数据处理管道，支持从不同来源采集数据，转换数据，并将数据发送到不同的存储库中
• Logstash诞生于2009年，最初用来做日志的采集与处理
• Logstash创始人Jordan Sisel
• 2013年被ElasticSearch收购

2.Logstash特性

• 实时解析和转换数据
  • 从IP地址破译除地理坐标
  • 将PII数据匿名化，完全排除敏感字段
• 可扩展
  • 200多个插件（日志、数据库、Arcsigh、Netflow）
• 可靠性安全性
  • Logstash会通过持久化队列来保证至少将运行中的事件送达一次
  • 数据传输加密
• 监控

3.Kibana：可视化分析利器

• Kibana名字的含义 = Kiwifruit + Banana
• 数据可视化工具，帮助用户解开对数据的任何疑问
• 基于Logstash工具，2013年加入Elastic公司

4.Elastic的发展

• 2015年3月收购Elastic Cloud，提供Cloud服务
• 2015年3月收购PacketBeat
• 2016年9月收购PreAlert - Machine Learning异常检测
• 2017年6月收购Opbeat进军APM
• 2017年11月收购Saas厂商Swiftype，提供网站和App搜索
• 2018年X-Pack开源

5.BEATS

• 轻量的数据采集器

6.X-Pack

• Elastic公司提供的商业化套件
• 6.3之前的版本，X-Pack以插件方式安装
• X-Pack开源之后，ElasticSearch & Kibana支持OSS版和Basic两个版本
  • 部分X-Pack功能支持免费试用，6.8和7.1开始Security功能免费
• OSS，Basic，黄金级，白金级
• https://www.elsatic.co/cn/subscriptions

7.ELK（Elastic Stack）客户及应用场景

• 应用场景
  • 网站搜索、垂直搜索、代码搜索
  • 日志管理与分析、安全指标监控、应用性能监控、Web抓取舆情分析

8.Elastic Search与数据库的集成

• 单独使用ElasticSearch作为存储（架构简单）
• 如果需要考虑事务性等内容时，建议将数据库写入或更新到数据库，建立同步机制更新ElasticSeach，到ElasticSearch中进行查询（将数据库与ElasticSearch进行同步）
• 以下情况可考虑与数据库集成
  • 与现有系统的集成
  • 需考虑事务性
  • 数据更新频繁