【Elastic (ELK) Stack 实战教程】01、Elastic Stack 概述

已于 2023-03-17 09:17:13 修改
阅读量755 收藏 2
点赞数
分类专栏： Elastic (ELK) Stack 学习笔记 文章标签： elk
于 2023-03-16 17:47:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46560589/article/details/129592801
版权

目录

 

一、Elastic Stack 在企业的常见架构

1.1 没有⽇志收集系统运维⼯作的⽇常痛点概述

1.2 Elastic Stack 分布式⽇志系统概述

1.2.1 Elastic Stack的主要优点有如下⼏个

1.2.2 使⽤ elastic stack 能收集哪些⽇志

1.3 Elastic Stack 企业级"EFK"架构图解

1.4 Elastic Stack 企业级"ELK"架构图解

1.5 Elastic Stack 企业级"ELFK"架构图解 

1.6 Elastic Stack 企业级"ELFK" + "kafka"架构图解

二、ElasticSearch 和 Solr 的抉择

2.1 ElasticSearch 和 Solr 的关系

2.1.1 Lucene 的优缺点

2.2 ElasticSearch 和 Solr 如何抉择

一、Elastic Stack 在企业的常见架构

1.1 没有⽇志收集系统运维⼯作的⽇常痛点概述

        如上图所示，简单画了⼀下互联⽹常⽤的⼀些技术栈相关架构图，请问如果让你对上图中的各组件⽇志进⾏收集，分析，存储，展示该如何做呢？你是否也会经常⾯临⼀下的运维痛点呢?

  • 痛点1: ⽣产出现故障后，运维需要不停的查看各种不同的⽇志进⾏分析？是不是毫⽆头绪？

  • 痛点2: 项⽬上线出现错误，如何快速定位问题？如果后端节点过多、⽇志分散怎么办？

  • 痛点3: 开发⼈员需要实时查看⽇志但⼜不想给服务器的登陆权限，怎么办？难道每天帮开发

  • 取⽇志？ 

  • 痛点4: 如何在海量的⽇志中快速的提取我们想要的数据？⽐如：PV、UV、TOP10 的 URL？如果分析的⽇志数据量⼤，那么势必会导致查询速度慢、难度增⼤，最终则会导致我们⽆法快速的获取到想要的指标。

  • 痛点5: CDN 公司需要不停的分析⽇志，那分析什么？主要分析命中率，为什么？因为我们给⽤户承诺的命中率是 90% 以上。如果没有达到 90%，我们就要去分析数据为什么没有被命中、为什么没有被缓存下来。

  • 痛点6: 近期某影视公司周五下午频繁出现被盗链的情况，导致异常流量突增 2G 有余，给公司带来了损失，那⼜该如何分析异常流量呢？

  • 痛点7: 上百台 Mysql 实例的慢⽇志查询分析如何聚集?

  • 痛点8: docker、K8S 平台⽇志如何收集分析?

  • 痛点N: ......

        如上所有的痛点都可以使⽤⽇志分析系统"Elastic Stack"解决，将运维所有的服务器⽇志，业
务系统⽇志都收集到⼀个平台下，然后提取想要的内容，⽐如错误信息，警告信息等，当过滤到这
种信息，就⻢上告警，告警后，运维⼈员就能⻢上定位是哪台机器、哪个业务系统出现了问题，出
现了什么问题。 

1.2 Elastic Stack 分布式⽇志系统概述

The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。

Elastic Stack 官网：欢迎来到 Elastic — Elasticsearch 和 Kibana 的开发者 | Elastic

  • ElaticSearch：简称为 ES， ES 是⼀个开源的⾼扩展的分布式全⽂搜索引擎，是整个 Elastic Stack 技术栈的核⼼。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

  • Kibana：是⼀个免费且开放的⽤户界⾯，能够让您对 Elasticsearch 数据进⾏可视化，并让您在 Elastic Stack 中进⾏导航。您可以进⾏各种操作，从跟踪查询负载，到理解请求如何流经您的整个应⽤，都能轻松完成。 

  • Beats：是⼀个免费且开放的平台，集合了多种单⼀⽤途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。

  • Logstash：是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。

1.2.1 Elastic Stack的主要优点有如下⼏个

  1. 处理⽅式灵活：elasticsearch 是实时全⽂索引，具有强⼤的搜索功能。

  2. 配置相对简单：elasticsearch 全部使⽤ JSON 接⼝，logstash 使⽤模块配置，kibana 的配置⽂件部分更简单。

  3. 检索性能⾼效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。

  4. 集群线性扩展：elasticsearch 和 logstash 都可以灵活线性扩展。

  5. 前端操作绚丽：kibana 的前端设计⽐较绚丽，⽽且操作简单。

1.2.2 使⽤ elastic stack 能收集哪些⽇志

  • 容器管理⼯具：docker

  • 容器编排⼯具：docker swarm，Kubernetes

  • 负载均衡服务器：lvs，haproxy，nginx

  • web 服务器：httpd，nginx，tomcat

  • 数据库：mysql，redis，MongoDB，Hbase，Kudu，ClickHouse，PostgreSQL

  • 存储：nfs，gluterfs，fastdfs，HDFS，Ceph

  • 系统：message，security

  • 业务：包括但不限于 C，C++，Java，PHP，Go，Python，Shell 等编程语⾔研发的 App。

1.3 Elastic Stack 企业级"EFK"架构图解

数据流⾛向: 源数据层(nginx,tomcat) ---> 数据采集层(filebeat) ---> 数据存储层(ElasticSearch)。 

1.4 Elastic Stack 企业级"ELK"架构图解

数据流⾛向: 源数据层(nginx,tomcat) ---> 数据采集/转换层(Logstash) ---> 数据存储层(ElasticSearch)。 

1.5 Elastic Stack 企业级"ELFK"架构图解 

数据流⾛向: 源数据层(nginx,tomcat) ---> 数据采集(filebeat) ---> 转换层(Logstash) ---> 数据存储层(ElasticSearch)。 

1.6 Elastic Stack 企业级"ELFK" + "kafka"架构图解

数据流⾛向: 源数据层(nginx,tomcat) ---> 数据采集(filebeat) ---> 数据缓存层(kafka)---> 转换层(Logstash) ---> 数据存储层(ElasticSearch)。 

二、ElasticSearch 和 Solr 的抉择

2.1 ElasticSearch 和 Lucene 的关系

2.1.1 Lucene 的优缺点

优点:可以被认为是迄今为⽌最先进，性能最好的，功能最全的搜索引擎库(框架)。

缺点:

  1. 只能在 Java 项⽬中使⽤，并且要以 jar 包的⽅式直接集成在项⽬中;

  2. 使⽤很复杂，你需要深⼊了解检索的相关知识来创建索引和搜索索引代码;

  3. 不⽀持集群环境，索引数据不同步(不⽀持⼤型项⽬);

  4. 扩展性差，索引库和应⽤所在同⼀个服务器，当索引数据过⼤时，效率逐渐降低;

        值得注意的是，上述的 Lucene 框架中的缺点，Elasticsearch 全部都能解决。ElasticSearch 是⼀个实时的分布式搜索和分析引擎。它可以帮助你⽤前所未有的速度去处理⼤规模数据。

        ES 可以⽤于全⽂搜索，结构化搜索以及分析，当然你也可以将这三者进⾏组合。有哪些公司在使⽤ ElasticSearch 呢，全球⼏乎所有的⼤型互联⽹公司都在拥抱这个开源项⽬:
用例 • ELK Stack成功案例 | Elastic Customers

2.2 ElasticSearch 和 Solr 如何抉择

        Solr 是 Apache Lucene 项⽬的开源企业搜索平台。其主要功能包括全⽂检索、命中标示、分⾯搜索、动态聚类、数据库集成，以及富⽂本（如Word、PDF）的处理。

        Solr 是⾼度可扩展的，并提供了分布式搜索和索引复制。Solr 是最流⾏的企业级搜索引擎，
Solr4 还增加了 NoSQL ⽀持。

Elasticsearch(下⾯简称"ES")与 Solr 的⽐较:

  1. Solr 利⽤ Zookeeper 进⾏分布式管理，⽽ ES ⾃身带有分布式协调管理功能;

  2. Solr ⽀持更多格式(JSON、XML、CSV)的数据，⽽ ES 仅⽀持 JSON ⽂件格式；

  3. Solr 官⽅提供的功能更多，⽽ ES 本身更注重于核⼼功能，⾼级功能多有第三⽅插件提供；

  4. Solr 在"传统搜索"(已有数据)中表现好于 ES，但在处理"实时搜索"(实时建⽴索引)应⽤时效率明显低于 ES。

  5. Solr 是传统搜索应⽤的有⼒解决⽅案，但 Elasticsearch 更适⽤于新兴的实时搜索应⽤。

        如下图所示，有⽹友在⽣产环境测试，将搜索引擎从 Solr 转到 ElasticSearch 以后的平均查询速度有了将近 50 倍的提升。

转自 B 站：04-Elasticsearch和Solr的抉择_哔哩哔哩_bilibili 

Stars.Sky
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ELK高级搜索_ElasticStack技术栈视频教程
04-18
# 1． 课程简介 ## 1.1 课程内容 ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es底层对文档、索引、搜索、聚合、集群经行介绍，从搜索和聚合分析实例来展现es的魅力。Logstash从内部如何采集数据到指定地方来展现它数据采集的功能。Kibana则从数据绘图展现数据可视化的功能。 1.2 课程优势 - 基于最新的elk7.3版本讲解。最新api。包含sql功能。 - 理论和实际代码相辅相成。理论结合画图讲解。代码与spring boot结合。 - 包含实际运维部署理论与实践。 - Elk整体流程项目，包含数据采集。 参照目录，按照介绍，es入门，文档、映射、索引、分词器、搜索、聚合。logstash、kibana。集群部署。实战
ELK的搭建和使用
YIYIYI
08-11 2251
ELK的搭建和使用
Elastic stack（一）：Elastic stack简介、Elasticsearch简介、安装
最新发布
dl_11的博客
03-14 1168
ELK是三款软件的简称，分别是Elasticsearch、Logstash、Kibana，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。说白了Elastic Stack相当于以前的ELK。Elasticsearch是Elastic Stack的核心，是一个分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富数据，并将其存储在Elasticsearch中。Kibana让你 以交互方式探索、可视化和共享数据的见解，并管理和监控整个堆栈。
ELKstack权威指南
02-03
扫描完整版带书签 ELKstack权威指南 ELKstack权威指南
ELK/ELFK(7.3 ) 企业PB级日志系统实战
06-17
Elastic Stack日志系统是目前企业应用广泛的一套日志解决方案。 ? 包含的组件有Filebeat,Logstash,Elastic,Kibana等 本堂课引入Kafka 让Elastic Stack 能适应企业PB级的业务日志量并弥补传统ELk架构的不足 ? ★学完这门课程会获得什么？ ? 首先从零开始教你部署Elastic Stack系统, 详细讲解Elastic产品,包括 Kibana.Logstash,Beats的详细讲解以及Elastic的api操作， 并如何监控如何绘图等。最后结合自己的运维过程中的案例讲解，让学员能更加清楚了解原理以及少走一些弯路。 ? 目前我们公司每天产生至少8个T的数据量，历史日志保存半年。此教程足以能承担PB级的日志收集系统的量。 此教程的背景介绍请参阅我的CSDN博客，置顶内容的第一篇博文。
ElasticStack(ELK)从入门到实践.pdf
06-11
elkstack的基础入门详解
ELKStack入门篇（一）之ELK部署和使用
段晓舟的博客
02-06 1844
一、ELKStack简介 1、ELK介绍 中文指南：https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details ELK Stack包含：ElasticSearch、Logstash、Kibana ElasticSearch是一个搜索引擎，用来搜索、分析、存储日志。它是分布式的，也就是说可以横向扩容，可以自动发现，索引自动分片，总之很强大。文档https://www.elastic.co/guide/cn/elasticsearch.
elk介绍
七月流星雨
10-10 290
ELK简介       对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合，一个通用的架构如下图所示： 　　 ...
ELK基础
backpB的博客
04-18 1068
ELK基础
ELK Stack（Elasticsearch、Logstash、Kibana）详解
m0_72410588的博客
07-24 256
Elasticsearch是一个分布式、可扩展、实时的搜索和分析引擎，基于Apache Lucene。它通过建立索引和搜索文档，提供了强大的全文搜索和实时分析能力。Logstash是一款开源的数据收集和处理工具，用于采集、转换和传输各种类型的数据，例如日志文件、数据库中的数据等。它支持多种输入源和输出目的地。Kibana是一个开源的数据可视化平台，用于在Elasticsearch上进行数据分析和交互式查询。它提供了丰富的图表、表格和地图等可视化组件，帮助用户更好地理解和分析数据。
ELK Stack如何使用
m0_57236802的博客
12-12 871
ELK Stack 是一个强大的日志管理和分析平台，由 Elasticsearch, Logstash, 和 Kibana 三个开源工具组成。
elk 6视频教程elastic stack实战Elasticsearch Logstash Kibana
04-24
elk 6视频教程elastic stack实战Elasticsearch Logstash Kibana
【详解】 ELK (ElasticStack) 实现日志监控
热门推荐
weixin_47255175的博客
05-10 1万+
目录 ElasticStack 介绍： Demo 实现 说在前面 案例实现流程图 创建Spring Boot 项目 项目部署、运行 Logstash配置 FileBeat配置 ES配置 Kibana配置 最终效果 前言 关于日志监控、日志管理，对于任何一个成型的系统来说都是必不可少的，之前使用Commons-IO实现过日志监控功能，实践告诉我们这个过程很繁琐，当然，并不是难实现的意思。最终是数据存在MongoDB，可是实际应用中一般没人选择这种方式。但听说ElasticS..
分布式日志系统的高可用与性能优化：使用ELK Stack和Graylog构建可靠的日志收集和分析平台
技术星球
08-18 127
ELK Stack是一个由Elasticsearch、Logstash和Kibana组成的开源日志收集和分析平台。Elasticsearch是一个分布式搜索和分析引擎，Logstash是一个用于数据收集、过滤和转换的工具，Kibana则是一个用于展示和分析数据的可视化界面。ELK Stack的组件之间可以灵活地进行集成和扩展，使其适用于各种规模和需求的日志系统。Graylog是另一个强大的开源日志管理平台，它提供了分布式日志收集、存储和搜索功能，并具备实时监控和警报机制。
ELKstack学习【第01篇】ELKstack介绍及Elasticsearch部署
空青、
04-03 587
一、ELKstack简介 1、什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为elastic.co，ELK stack的主要优点有如下几个： 处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能 ...
【Elastic (ELK) Stack 实战教程】03、ElasticSearch 集群搭建
Stars.Sky 的博客
03-24 797
ElasticSearch 集群搭建
史上最详细ELK架构图解+部署es和kibana
weixin_51824719的博客
06-09 3339
解决数据存储和检索（存放数据和查询数据以及分析）L—logstash主要有两个功能，收集和简单处理（切数据）K—Kibana图形化管理插件，用以展示数据[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-02Slxb1c-1686294863467)(https://shidt2023.oss-cn-shanghai.aliyuncs.com/typora/img/image-20230426190954410.png)]老的品牌教ELK。
ELK（Elastic Stack）概述
满堂花醉三千客,一剑霜寒十四州
03-07 2357
介绍 The Elastic Stack。包括 ElasticSearch、Kibana、Beats 和Logstash(也称为ELK Stack)。能够安全可靠地获收任何来源、任何格式的数据，然后实时地对数拙进行搜索、分析和可视化。Flaticsearch，简称为FS，FS是个开源的高扩展的分布式全文搜索引擎,是整个ElasticStack技术栈的核心。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它可以近乎实时的存储、检索数据;本身扩
Windows安装ELK
07-28
要在Windows上安装ELK（Elasticsearch, Logstash, Kibana），您可以按照以下步骤进行操作： 1. 首先，确保您的系统已经安装了Java Development Kit（JDK）。ELK Stack需要Java来运行。您可以从Oracle官网下载并安装适用于Windows的JDK。 2. 下载并安装Elasticsearch： - 访问https://www.elastic.co/downloads/elasticsearch 并下载适用于Windows的Elasticsearch压缩包。 - 解压缩下载的文件到您选择的目录。 - 在解压缩的目录中，找到并打开`config`文件夹，编辑`elasticsearch.yml`文件。根据您的需求，您可能需要更改默认配置。 - 保存更改后，运行`bin\elasticsearch.bat`启动Elasticsearch。 3. 下载并安装Logstash： - 访问https://www.elastic.co/downloads/logstash 并下载适用于Windows的Logstash压缩包。 - 解压缩下载的文件到您选择的目录。 - 在解压缩的目录中，找到并打开`config`文件夹，编辑`logstash.yml`文件。根据您的需求，您可能需要更改默认配置。 - 创建一个新的配置文件（例如`myconfig.conf`），用于配置Logstash的输入、过滤和输出。您可以在该配置文件中定义数据源、处理方式以及输出目标。 - 在命令行中，切换到Logstash的安装目录，并运行以下命令启动Logstash： ``` bin\logstash -f myconfig.conf ``` 4. 下载并安装Kibana： - 访问https://www.elastic.co/downloads/kibana 并下载适用于Windows的Kibana压缩包。 - 解压缩下载的文件到您选择的目录。 - 在解压缩的目录中，找到并打开`config`文件夹，编辑`kibana.yml`文件。根据您的需求，您可能需要更改默认配置。 - 保存更改后，运行`bin\kibana.bat`启动Kibana。 现在，ELK Stack已经在Windows上安装完成了。您可以访问http://localhost:5601/ 来打开Kibana界面，并开始使用ELK Stack来索引、搜索和可视化数据。请注意，根据您的环境和需求，一些配置可能需要调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Stars.Sky

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值