bigdata system
文章平均质量分 81
jansony1
这个作者很懒,什么都没留下…
展开
-
kafka的介绍
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案,但若要进行实时处理,通常会有较大延迟。转载 2016-05-31 18:42:41 · 347 阅读 · 0 评论 -
kafka connector
来自: http://colobu.com/2016/02/24/kafka-connect/Kafka 0.9+增加了一个新的特性 Kafka Connect ,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过 connectors 可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。Kafka原创 2016-05-31 18:51:33 · 959 阅读 · 0 评论 -
zookeeper 原理
zookeeper原理(转)博客分类: hadoop ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中转载 2016-05-31 20:35:05 · 243 阅读 · 0 评论 -
mesos解读
转载其中绿色部分为本人批注1. 前言同其他大部分分布式系统一样,Apache Mesos为了简化设计,也是采用了master/slave结构,为了解决master单点故障,将master做得尽可能地轻量级,其上面所有的元数据可以通过各个slave重新注册而进行重构,故很容易通过zookeeper解决该单点故障问题。(什么是apache mesos?参考:《统一资转载 2016-06-01 18:24:06 · 1109 阅读 · 0 评论 -
zookeeper 与 kafka的协同工作
down voteacceptedFirst of all, zookeeper is needed only for high level consumer. SimpleConsumer does not require zookeeper to work.The main reason zookeeper is needed for a high level转载 2016-05-31 19:17:54 · 637 阅读 · 0 评论