总结

ZooKeeper是一个分布式的小文件存储系统。前身是Apache Hadoop的一个组件,被拆分为一个Hadoop的独立子项目
ZooKeeper是一个为分布式应用程序提供高性能协调服务的工具集合。它可以应用在一些需要提供统一协调服务的场景中,例如命名、配置管理、同步和组服务等。而在我们的场景中,它被作为一个协调分布式环境中各子系统之间共享状态数据的基础组件。
ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用
kafka是由LinkedIn开发,主要是用来处理Linkedin的大面积活跃数据流处理(activity stream). 此类的数据经常用来反映网站的一些有用的信息,比如PV,页面展示给哪些用户访问,用户搜索什么关键字最多,这类信息经常被log到文件里,然后线下且周期性的去分析这些数据。现在这种用户活跃数据已经成为互联网公司重要的一部分,所以必须构建一个更轻量且更精炼的基础架构。
高流量的活跃数据是无法确定其大小的,因为他可能随时的变化,比如商家可能促销,节假日打折,突然又冒出一个跳楼价等等。所有的数据可能是数量级的往上递增。 传统日志分析方式都是需要离线,而且操作起来比较复杂,根本无法满足实时的分析。另一方面,现有的消息队列系统只能达到近似实时的分析,因为无法消费大量的持久化在队列系统上的信息。Kafka的目标就是能够成为一个高效的队列平台,无论是处理离线的信息还是在线的信息。

阅读更多
文章标签: hadoop
想对作者说点什么? 我来说一句

vim命令学习笔试总结总结总结

2009年05月05日 17KB 下载

java 总结练习题 总结

2011年02月25日 10KB 下载

ejb 总结ejb 总结,ejb 总结

2009年07月05日 4.32MB 下载

Ping方法总结-自己的,呵呵

2011年03月03日 17KB 下载

Hibernate总结

2011年10月19日 5KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭