消息日志系统kafka/flume等
文章平均质量分 64
crazyhacking
like a hacker
展开
-
kafka第五篇
架构设计:http://www.linuxeden.com/html/news/20130309/136716_2.html代码实现consumer 和producer原创 2013-07-30 20:13:17 · 2323 阅读 · 0 评论 -
kafka第三篇--安装使用
1 安装安装过程,参考官网:> tar xzf kafka-.tgz> cd kafka-> ./sbt update> ./sbt package> ./sbt assembly-package-dependency出现问题1 在安装 0.8 版本时,出现如下问题ead "main" java.lang.NoClassDefFoundError: or原创 2013-07-30 11:46:48 · 18363 阅读 · 8 评论 -
kafka第四篇--快速入门(如何使用kafka)
Quick StartStep 1: Download the codeDownload the 0.8 release.> tar xzf kafka-.tgz> cd kafka-> ./sbt update> ./sbt package> ./sbt assembly-package-dependencyThis tutorial assumes you a转载 2013-07-30 14:43:43 · 17111 阅读 · 0 评论 -
kafka入门-----第一篇
crazyhacking点评: 本文作为kafka入门教程写的很好。 而且作者还有后续的多篇文章。地址请参考本文最后。终于可以写kafka的文章了,Mina的相关文章我已经做了索引,在我的博客中置顶了,大家可以方便的找到。从这一篇开始分布式消息系统的入门。在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: l 我想分析一下用户行为(p转载 2013-01-23 16:21:47 · 6025 阅读 · 0 评论 -
KAFKA入门----第二篇
Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。 当前很多的消息队列服务提供可靠交付保证,并默认是即时消费(不适合离线)。高可靠交付对linkedin的日志不是必须的,故可通过降低可靠性来提高性能,同时转载 2013-01-23 16:07:47 · 3013 阅读 · 0 评论 -
kafka第六篇---多个进程读不齐
问题:4台kafka组成的集群,多余5个进程读的话,造成偏移不齐。解决办法:用4个进程或者1个原创 2013-11-08 18:02:53 · 2339 阅读 · 0 评论 -
RocketMQ与Kafka对比(18项差异)
转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,转载 2015-04-15 19:13:05 · 2800 阅读 · 0 评论 -
kafka和flume的对比
摘要: (1)kafka和flume都是日志系统。kafka是分布式消息中间件,自带存储,提供push和pull存取数据功能。flume分为agent(数据采集器),collector(数据简单处理和写入),storage(存储器)三部分,每一部分都是可以定制的。比如agent采用RPC(Thrift-RPC)、text(文件)等,storage指定用hdfs做。 (2转载 2015-05-15 17:20:21 · 24196 阅读 · 0 评论 -
开源日志系统比较:scribe、chukwa、kafka、flume
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩转载 2015-05-15 17:21:45 · 3567 阅读 · 0 评论