开源
文章平均质量分 75
allthesametome
这个作者很懒,什么都没留下…
展开
-
开源日志系统比较:scribe、chukwa、kafka、flume
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩转载 2015-08-07 23:00:55 · 461 阅读 · 0 评论 -
开源远程登录、远程查看工具你知道几个
详细工具说明链接地址:https://code.csdn.net/openkb/c-2102putty项目介绍:PuTTY为一开放源代码软件,主要由Simon Tatham维护,使用MIT licence授权。是一个Telnet、SSH、rlogin、纯TCP以及串行接口连接软件。较早的版本仅支持Windows平台,目前开始支持各类Unix平台,并打算移植至Mac OS X原创 2015-08-07 23:10:23 · 2121 阅读 · 0 评论 -
Kafka 与 Flume 对比
采集层 主要可以使用Flume, Kafka两种技术。Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API.Kafka:Kafka是一个可持久化的分布式的消息队列。Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送转载 2015-08-08 10:27:31 · 1769 阅读 · 0 评论 -
各消息队列对比,Kafka深度解析,众人推荐,精彩好文!
作者: Jason Guo背景介绍Kafka简介Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消息消费,同时保证每个p转载 2015-08-08 21:31:21 · 61073 阅读 · 0 评论