- 博客(4)
- 资源 (6)
- 收藏
- 关注
转载 Storm入门与实践(4)Storm的容错机制
转载自:并发编程网 – ifeve.comStorm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制,以及作为用户如何使用好 Storm 的可靠性机制。消息的“完整性处理”是什么意思一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如,有这样一个 word-count 拓扑:TopologyBuil
2017-08-24 11:17:37 2206
原创 Storm入门与实践(3)通过WordCount展开Storm的编程之旅
介绍貌似WordCount已经成了大数据,分布式计算的入门标配程序,其实仔细想一下WordCount的例子,它还有很用应用的场景,例如统计过去一段时间网站中各个商品的浏览量,最近一段时间相同查询的数量等.本文主要讨论下Storm如何实现WordCountTopology结构WordCount的Topology比较简单,流程如下 主要代码Storm版本Storm:apache-storm-1.1.1
2017-08-15 13:42:09 1928
原创 Storm入门与实践(2)构建Storm的开发环境与集群
1. Storm 技术栈Storm 运行在JVM之上,大部分功能都是通过Java与Clojure进行开发。 Storm的主要接口都是通过Java进行开发,但绝大多数的逻辑都是由Clojure进行实。 Python主要用来实现Storm的后台程序以及管理命令程序。2. Storm环境搭建在搭建Storm环境之前,需要对Java以及Zookeeper的环境进行配置2.1 安装基础依赖2.1.1 安装
2017-08-14 17:10:09 1687
原创 Storm入门与实践(1)入门介绍
Storm 简介Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单,而且,在同类的流式计算工具,Storm的性能也是非常出众的。Storm 核心概念Storm主要分为两种组件Nimbus和Superv
2017-08-10 18:24:21 1684
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人