ElasticSearch、Kibana、Beats简介与搭建

什么是Elasticsearch？

Elasticsearch是Elastic Stac核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。kibana能够使您可以交互式地搜索，可视化和共享理解数据，并管理和监视堆栈。Elaticsearch是发生索引，搜索和分析的地方。

ElasticsSearch为所有类型的数据提供近乎实时的搜索和分析。无论是结构文本或者非结构文本，数字数据，或者地理空间数据，Elasticsearch都能以支持快速搜索的方式有效地对其进行存储和索引。你不仅可以减少简单的数据索引，还可以聚合信息来发现动态的数据和模式。随着数据和查询量的增长，Elasticsearch的分布式特性使您可以无缝地部署。

虽然并非每个问题都是搜索问题，但是Elasticsearch可以提供快速和灵活性来处理各种用例中的数据：

• 将搜索框添加到应用或网站
• 存储和分析日志，指标和安全事件数据
• 使用机器学习自动实时建模数据行为
• 使用Elasticsearch作为存储引擎自动化业务工作流程
• 使用Elasticsearch作为地理信息系统管理，集成和分析空间信息
• 使用Elasticsearch作为生物信息学研究工具来存储和处理遗传数据

Elastic Stack 入门

安装 Elasticsearch

​ Elaticsearch是一个实时的分布式存储、搜索和分析引擎。他可以用于许多目的，但是它擅长的一个环境是对半结构化数据流（例如日志或解码的网络数据包）建立索引。

打开一个终端窗口和用指令

mac:

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-darwin-x86_64.tar.gz
tar -xzvf elasticsearch-7.10.0-darwin-x86_64.tar.gz
cd elasticsearch-7.10.0
./bin/elasticsearch

确保Elasticsearch运行

​ 测试Elasticsearch运行，发送HTTP GET 请求 在端口 9200.

curl http://127.0.0.1:9200

返回如下：

{
  "name" : "...",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "...",
  "version" : {
   `...
  },
  "tagline" : "You Know, for Search"
}

安装Kibana

Kibana是一个旨在与Elasticsearch一起使用的开源分析和可视化平台。您可以使用Kibana搜索，查看和与Elasticsearch索引中存储的数据进行交互。您可以轻松地执行高级数据分析，并在各种图标，表格和地图中可视化数据。

下载和安装Kibana

mac:

curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.10.0-darwin-x86_64.tar.gz
tar xzvf kibana-7.10.0-darwin-x86_64.tar.gz
cd kibana-7.10.0-darwin-x86_64/
./bin/kibana

打开Kibana Web界面

http://127.0.0.1: 5601

安装Beats

Beats是安装在服务器上作为代理将运营数据发送到Elasticsearch的开源数据托运人。Beats可以将数据直接发送到Elasticsearch或通过Logstatsh发送，您可以在其中进一步处理和增强数据。

学习更多关于安装和配置其他Beats，请参阅《入门指南》文档：

Elastic Beats	To capture
Auditbeat	Audit data
Filebeat	Log files
Functionbeat	Cloud data
Heartbeat	Availability monitoring
Journalbeat	Systemd journals
Metricbeat	Metrics
Packetbeat	Network traffic
Winlogbeat	Windows event logs

安装 Metricbeat

下载和安装Metricbeat，打开一个终端窗口和用指令

mac:

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.0-darwin-x86_64.tar.gz
tar xzvf metricbeat-7.10.0-darwin-x86_64.tar.gz

将系统指标发送到Elasticsearch

Metricbeat提供了预构建的模块，可用于约5分钟内快速实现和部署系统监视解决方案，并带有示例仪表板和数据可视化。

如何运行system模块从服务器上运行侧操作系统和服务收集指标。系统模块收集系统级别的度量标准，例如：CUP使用率，内存，文件系统，磁盘IO和网络IO统计信息，以及系统上运行的每个进程的顶级统计信息。

1. 在Metricbeat安装目录中，启动system模块：

mac and linux:

./metricbeat modules enable system

2. 设置初始环境

mac and linux:

./metricbeat setup -e

3. 开始metricbeat

mac and linux:

./metricbeat setup -e

Metricbeat运行和开始发送系统metrics到Elasticsearch.

可视化Kibana中的系统指标

打开浏览器并导航到Metricbeat系统概述仪表板：http://localhost:5601/app/kibana#/dashboard/Metricbeat-system-overview-ecs

恭喜你，您成功设置了Elatic Stack。将系统指标传输到Elasticsearch并可视化Kibana中的数据。

Elasticsearch7.10参考

Elasticsearch head