Elasticsearch数据采集解决方案

原文引用地址：阿里云Elasticsearch数据采集解决方案：https://help.aliyun.com/document_detail/141794.html

概述

对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的用例，从应用程序搜索和网站搜索，到日志、基础架构监测、APM和安全分析，不一而足。虽然现在有针对这些用例的免费解决方案，但是开发人员首先需要将其数据提供给Elasticsearch。

本文提供了以下几种常见的将数据采集到阿里云ES中的方法。

• Elastic Beats
• Logstash
• 语言客户端
• Kibana开发工具

Elasticsearch提供了灵活的RESTful API，用于与客户端应用程序通信。因此，REST调用被用来采集数据、执行搜索和数据分析，以及管理集群及其索引。实际上，上述所有方法都依赖于REST API将数据采集到Elasticsearch。

Elastic Beats

Elastic Beats是一组轻量型的数据采集器，可以方便地将数据发送给Elasticsearch服务。由于是轻量型的，Beats不会产生太多的运行时开销，因此，可以在硬件资源有限的设备（如 IoT 设备、边缘设备或嵌入式设备）上运行和收集数据。如果您需要收集数据，但没有资源来运行资源密集型数据收集器，那么Beats会是您最佳的选择。这种无处不在（涵盖所有联网设备）的数据收集方式，让您能够快速检测到异常情况做出反应，例如系统范围内的问题和安全事件等。

当然，Beats并不局限于资源有限的系统，它们还可用于具有更多可用硬件资源的系统。

Beats有多种风格，可以收集不同类型的数据：

• Filebeat
  支持您从以文件形式提供的源中读取、预处理和传输数据。虽然大多数用户使用Filebeat来读取日志文件，但它也支持非二进制文件格式。Filebeat还支持多种其他数据源，包括TCP/UDP、容器、Redis和Syslog。借助丰富的254模块，可以轻松针对Apache、MySQL和Kafka等常见应用程序的日志格式，进行收集，并解析相应的数据。

• Metricbeat
  可以收集并预处理系统和服务指标。系统指标包括关于运行中进程的相关信息，以及CPU/内存/磁盘/网络利用率方面的数据。这些186模块可用于收集来自许多不同服务的数据，包括Kafka、Pa