云计算/大数据
JackLeeLive
初来乍到,一枚大数据新人。
展开
-
Storm学习笔记
Storm学习笔记Storm基础知识Storm 是一个分布式的,可靠的,容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm 集群的输入流由一个被称作 spout 的组件管理,spout 把数据传递给 bolt, bolt 要么把数据保存到某种存储器,要么把数据传递给其它的 bolt。 Storm组件在 Storm 集群中,有两类节点:主节点 m...原创 2018-04-25 15:54:56 · 281 阅读 · 0 评论 -
Zookeeper学习笔记
Zookeeper概述:1.ZooKeeper是一种分布式协调服务,用于管理大型主机。ZooKeeper通过其简单的架构和API解决了这个分布式环境中协调和管理服务的复杂性问题。2.分布式应用有两部分, Server(服务器) 和 Client(客户端) 应用程序。3.分布式应用的优点l 可靠性 - 单个或几个系统的故障不会使整个系统出现故障。 l 可扩展性 - 可以在需要时增加性能,通过添加更多...原创 2018-04-21 16:47:38 · 191 阅读 · 0 评论 -
Kafka学习笔记
Kafka学习笔记Apache Kafka概述Apache Kafka是一个分布式发布-订阅消息系统和一个强大的队列,可以处理大量数据,并将消息从一个端点传递到另一个端点。优点:A. 可靠性,分布式、分区、复制和容错B. 可扩展行,消息传递系统轻松缩放,不需要停机就能操作C. 耐用性,使用“分布式提交日志”,消息尽量保留在磁盘上D. 性能,对发布和订阅消息都具有高吞吐量且性能稳定Apache Ka...原创 2018-04-21 16:49:19 · 390 阅读 · 0 评论