ELK日志系统实战(二)：架构选型

已于 2022-06-06 11:06:44 修改
阅读量320 收藏
点赞数
分类专栏： ELK运维监控实战(开启kerberos) 文章标签： es elk elasticsearch 大数据
于 2021-02-04 18:56:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24186017/article/details/113650696
版权
本文探讨了一套完整的日志系统所需的模块，对比了flume、filebeat、logstash等日志收集组件，建议日志量大的场景使用flume，资源有限的情况选择filebeat。在数据过滤和存储方面，推荐使用filebeat+kafka+ES+kibana的架构，考虑了数据丢失的风险和未来的扩展性。此外，文章还分析了Elasticsearch的使用场景、特点，如天然分片、倒排索引，以及与传统数据库的区别。
摘要由CSDN通过智能技术生成

目录

日志收集用哪个

需要加上一层logstash做过滤吗

需要加上一层logstash做过滤吗

ES的使用场景、特点有哪些，与其他的数据存储进行比较

结论

思考：

一套完整的日志系统需要有哪些模块组成

  • 日志收集用哪个？？
  • 需不需要加kafka？？
  • 需要加上一层logstash做过滤吗？
  • ES的特点有哪些，与其他的数据存储进行比较

首先市面上开源的日志收集组件: flume、filebeat、logstash。这三个对比

Flume

Logstash
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Adobee Chen
关注
专栏目录
订阅专栏
ELK日志系统实战(一)：需求概括以及架构设计
qq_24186017的博客
02-02 487
前言 最近在公司搭建了一套日志系统，整个流程是从0到1的，包括整个架构的选型，数据的收集是filebeat还是logstash还是flume,整体对比了优缺点。 需不需要加入kafka，Kibana需要展示的指标有哪些等。 整个过程还不是很完善，写这个专栏也是为了督促自己将这个流程完善，并且给大家作为参考。 第1章:需求概括 1.1平台日志需求 1收集各个平台的日志,统计每天日志吞吐量、各个平台错误日志条数，快速查找出错误信息 结果展示： ......
开放平台架构设计原理与实战：构建持续开放的开放平台开发流程
AI天才研究院
11-05 313
近年来，互联网经济蓬勃发展，人们越来越重视对自己信息的掌控权，希望在不受限制地分享自己的知识、经验和创造力。而早已开始普及的微信、微博、知乎等社交媒体则成为人们获取信息、沟通感情、表达观点的主要渠道。如此开放的网络空间也给平台创作者提供了巨大的想象空间。然而，当平台创作者构建自己的平台时，也面临着更复杂的技术难题——如何构建可持续、可扩展、安全的开放平台？如何让平台上的用户持续地提供新的价值？更重要的是，如何将平台上生成的数据产生价值，并且持续地推动平台运营？
监控系统---（二）ELK日志分析平台
sss
11-30 2422
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般.
千亿级数量下日志分析系统的技术架构选型
weixin_34130389的博客
08-22 391
 随着数据已经逐步成为一个公司宝贵的财富，大数据团队在公司往往会承担更加重要的角色。大数据团队往往要承担数据平台维护、数据产品开发、从数据产品中挖掘业务价值等重要的职责。所以对于很多大数据工程师，如何根据业务需求去选择合适的大数据组件，做合适的大数据架构工作就是日常工作中最常遇到的问题。在这里根据七牛云在日增千亿级的日志分析工作，和大家分享一下大数据技术架构选型的一些经验。 大数据架构师在关...
ELK日志分析方案
weixin_33774308的博客
11-01 284
针对公司项目微服务化，随着项目及服务器的不断增多，决定采用ELK（Elasticsearch+Logstash+Kibana）日志分析平台进行微服务日志分析。 1.ELK整体方案 1.1 ELK架构图 1.2 ELK工作流程 1.在微服务服务器上部署Logstash，作为Shipper的角色，对微服务日志文件数据进行数据采集，将采集到的数据输出到Redis消息队列。 2.在另外一台服务器上部...
日志框架选型
alanpeng
04-13 501
一、Java日志框架选型 标准 １本组件强壮性 官方宣称的，各大牛点评的，扩展性 2使用广泛性 各系统集成，使用时间 3业务系统 新的好办，旧的要兼容 4可选性 只有一类实现，要么自己造，要么只能用 二、对比 Log4j LOGBack java.util.Logging SLF4J ...
ELK实战一:架构的选择
weixin_33971977的博客
07-18 138
2019独角兽企业重金招聘Python工程师标准>>> ...
"Java分布式实战指南：技术选型与项目运营全解析
ELK作为分布式日志采集系统，能够实时记录和分析系统日志。Seta则提供了分布式事务解决方案。同时，Zookeeper和Redis被选作分布式锁解决方案。Nacos被选择作为分布式配置工具。另外，为了处理高并发情况下的全局ID...
Python日志监控实战指南：构建实时监控系统的必备技巧
[Python日志监控实战指南：构建实时监控系统的必备技巧](https://user-images.githubusercontent.com/2954573/108939214-39690f80-7606-11eb-92a5-03dade28d663.png) # 1. Python日志监控基础 ## 1.1 日志监控的...
亿级流量系统架构设计与实战
最新发布
shengyin714959的博客
07-27 149
本文将从系统架构、技术选型、性能优化等方面探讨如何设计和实现一个高可用、高并发、高性能的亿级流量系统，并通过一些示例代码加以说明。日志分析：利用ELK（Elasticsearch、Logstash、Kibana）进行日志收集与分析，追踪系统问题。缓存策略：在各个层级使用缓存（如Redis、Memcached、CDN）以提高响应速度和减少数据库压力。负载均衡：使用硬件负载均衡器（如F5）和软件负载均衡器（如Nginx、HAProxy）分发流量。资源压缩：压缩JS、CSS、图片等静态资源，减少传输数据量。
个人日志系统的设计与实现
07-09
个人日志系统的设计与实现，springmvc,mysql,有后台分页，富文本编辑器，附件上传，文件上传，时间选择器等等的源代码,保证可以运行，带导入视频
ELK企业日志分析系统部署实战！理论+实战！
01-09
文章目录前言一：理论部分1.1：什么是ELK日志分析系统？有什么作用？1.2：什么原因催生了ELK日志分析系统？1.3：ELK日志分析系统的开源工具解析1.3.1：Logstash解析1.3.2：ElasticSearch解析1.3.3：Kiabana解析1.4：ELK的日志处理工作流程是怎样的？二：ELK部署实战2.1：环境介绍2.2：实验拓扑图2.3：实验过程2.3.1：开局优化2.3.2：node1与node2部署elasticsearch软件2.3.3：node1和node2安装elasticsearch-head插件2.3.4：apache服务器部署logstash相关2.3.4：n
graylog 后起之秀，可以替代elk的轻量化工具
02-09
Docker默认使用了json-file driver作为log driver，因此日志是存储在一个json.log的本地文件中的。而gelf则是本文需要使用的log driver。 当容器多了，或者是采用类似swarm集群部署Docker的时候，各种日志分散存在各个json.log文件中，当查找问题或者进行相关统计的时候，分散的日志对我们来说是非常不友好的。我们需要一个能够集中管理Docker日志的工具
日志系统技术选型和架构分析
桃花惜春风
11-09 1133
本篇文章关于日志系统技术选型和架构分析，已经发表在GitChat，跳转链接 主要介绍一些现有的比较成熟的日志系统架构，别人的架构再好却不一定适合你，本文将教你如何选择搭建适合自己业务场景的日志系统。 本场 Chat 主要介绍内容如下: 我们为什么要搭建日志系统？ 如何进行技术选型？ 如何选择适合你的系统架构？ 亿级高并发日志系统架构介绍 适合人群: 日志系统的工程师 大数据架构师 ELK开发工程师...
几种ELK常见的架构模式
思月行云
07-11 2644
ELK扫盲 mysia 简介 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。后文的四种基本架构中将逐一介绍应用到的其它套件。 ♦ Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache...
K8S日志系统技术选型-02-KAFKA分布式消息队列
Kubernetes云计算的专栏
11-08 1486
Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。而现有的消（队列）系统能够很好的处理实时或者近似实时的应用，但未处理的数据通常不会写到磁盘上，这对于Hadoop之类（一小时或者一天只处理...
【DevOps】日志管理工具 - 22种 选型（读这一篇就够了）
沙师弟专栏
12-30 4536
日志管理工具是为了在生产环境中，有效管理日志数据而提供的灵活、经济、有效的解决方案。现在来盘点下常见的 **22 种** 日志管理工具，调研下它们各自的特点、优缺点、管理架构、效果等，以便可以为业务选择合适的解决方案。
ELK架构选型与filebeat环境搭建
weixin_34216196的博客
07-24 110
ELK架构之filebeat环境搭建
ELK日志分析系统实战：理论到部署
"ELK企业日志分析系统部署实战，理论结合实战，讲解ELK日志分析系统的概念、作用、产生背景以及组件解析，包括Logstash、Elasticsearch、Kibana的功能与工作流程，并详细阐述了ELK的部署步骤，涉及环境配置、软件...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值