什么是Elasticsearch?
Elasticsearch是Elastic Stac核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。kibana能够使您可以交互式地搜索,可视化和共享理解数据,并管理和监视堆栈。Elaticsearch是发生索引,搜索和分析的地方。
ElasticsSearch为所有类型的数据提供近乎实时的搜索和分析。无论是结构文本或者非结构文本,数字数据,或者地理空间数据,Elasticsearch都能以支持快速搜索的方式有效地对其进行存储和索引。你不仅可以减少简单的数据索引,还可以聚合信息来发现动态的数据和模式。随着数据和查询量的增长,Elasticsearch的分布式特性使您可以无缝地部署。
虽然并非每个问题都是搜索问题,但是Elasticsearch可以提供快速和灵活性来处理各种用例中的数据:
- 将搜索框添加到应用或网站
- 存储和分析日志,指标和安全事件数据
- 使用机器学习自动实时建模数据行为
- 使用Elasticsearch作为存储引擎自动化业务工作流程
- 使用Elasticsearch作为地理信息系统管理,集成和分析空间信息
- 使用Elasticsearch作为生物信息学研究工具来存储和处理遗传数据
Elastic Stack 入门
安装 Elasticsearch
Elaticsearch是一个实时的分布式存储、搜索和分析引擎。他可以用于许多目的,但是它擅长的一个环境是对半结构化数据流(例如日志或解码的网络数据包)建立索引。
打开一个终端窗口和用指令
mac:
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-darwin-x86_64.tar.gz
tar -xzvf elasticsearch-7.10.0-darwin-x86_64.tar.gz
cd elasticsearch-7.10.0
./bin/elasticsearch
确保Elasticsearch运行
测试Elasticsearch运行,发送HTTP GET 请求 在端口 9200.
curl http://127.0.0.1:9200
返回如下:
{
"name" : "...",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "...",
"version" : {
`...
},
"tagline" : "You Know, for Search"
}
安装Kibana
Kibana是一个旨在与Elasticsearch一起使用的开源分析和可视化平台。您可以使用Kibana搜索,查看和与Elasticsearch索引中存储的数据进行交互。您可以轻松地执行高级数据分析,并在各种图标,表格和地图中可视化数据。
下载和安装Kibana
mac:
curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.10.0-darwin-x86_64.tar.gz
tar xzvf kibana-7.10.0-darwin-x86_64.tar.gz
cd kibana-7.10.0-darwin-x86_64/
./bin/kibana
打开Kibana Web界面
http://127.0.0.1: 5601
安装Beats
Beats是安装在服务器上作为代理将运营数据发送到Elasticsearch的开源数据托运人。Beats可以将数据直接发送到Elasticsearch或通过Logstatsh发送,您可以在其中进一步处理和增强数据。
学习更多关于安装和配置其他Beats,请参阅《入门指南》文档:
Elastic Beats | To capture |
---|---|
Auditbeat | Audit data |
Filebeat | Log files |
Functionbeat | Cloud data |
Heartbeat | Availability monitoring |
Journalbeat | Systemd journals |
Metricbeat | Metrics |
Packetbeat | Network traffic |
Winlogbeat | Windows event logs |
安装 Metricbeat
下载和安装Metricbeat,打开一个终端窗口和用指令
mac:
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.0-darwin-x86_64.tar.gz
tar xzvf metricbeat-7.10.0-darwin-x86_64.tar.gz
将系统指标发送到Elasticsearch
Metricbeat提供了预构建的模块,可用于约5分钟内快速实现和部署系统监视解决方案,并带有示例仪表板和数据可视化。
如何运行system模块从服务器上运行侧操作系统和服务收集指标。系统模块收集系统级别的度量标准,例如:CUP使用率,内存,文件系统,磁盘IO和网络IO统计信息,以及系统上运行的每个进程的顶级统计信息。
- 在Metricbeat安装目录中,启动system模块:
mac and linux:
./metricbeat modules enable system
- 设置初始环境
mac and linux:
./metricbeat setup -e
- 开始metricbeat
mac and linux:
./metricbeat setup -e
Metricbeat运行和开始发送系统metrics到Elasticsearch.
可视化Kibana中的系统指标
打开浏览器并导航到Metricbeat系统概述仪表板:http://localhost:5601/app/kibana#/dashboard/Metricbeat-system-overview-ecs
恭喜你,您成功设置了Elatic Stack。将系统指标传输到Elasticsearch并可视化Kibana中的数据。