一起来解读分布式日志收集系统:Facebook Scribe

本文详细介绍了Facebook的开源日志收集系统Scribe,包括其系统架构、功能特性、部署结构以及在实际应用中的扩展和问题解决方案。Scribe通过Thrift和C++实现,提供高可扩展性和容错性,广泛应用于分布式日志处理。
摘要由CSDN通过智能技术生成

1.分布式日志收集系统:背景介绍

许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:

(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;

(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;

(3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。

需要c/c++ Linux服务器高阶知识视频资料的朋友可以点击链接加入群聊【linux后台服务架构交流】

知识点有C/C++,Linux,golang技术,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK等等。

分布式日志收集系统:Facebook Scribe

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值