storm
文章平均质量分 88
汤高
喜欢开源的框架技术、乐于研究其底层源码,把个人从学习到工作中用到的所有技术梳理总结,也分享给所有爱学习新技术的朋友们,相互交流,一起进步
展开
-
storm概述
1.Storm是什么,应用场景有哪些? 2.Storm有什么特点? 3.spout发出的消息后续可能会触发产生成千上万条消息,Storm如何跟踪这条消息树的? 4.Storm本地模式的作用是什么?一、实时流计算互联网从诞生的第一时间起,对世界的最大的改变就是让信息能够实时交互,从而大大加速了各个环节的效率。正因为大家对转载 2016-07-23 14:58:32 · 1130 阅读 · 0 评论 -
storm的数据流组
数据流组设计一个拓扑时,你要做的最重要的事情之一就是定义如何在各组件之间交换数据(数据流是如何被bolts消费的)。一个数据流组指定了每个bolt会消费哪些数据流,以及如何消费它们。NOTE:一个节点能够发布一个以上的数据流,一个数据流组允许我们选择接收哪个。数据流组在定义拓扑时设置··· builder.setBolt("word-normalizer",转载 2016-07-23 16:04:22 · 3330 阅读 · 1 评论 -
strom架构和构建Topology
一、Storm基本概念在运行一个Storm任务之前,需要了解一些概念:TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfiguration 架构:在Storm的集群里面有两种节点: 控制节点(master node)和工作节点(w转载 2016-07-23 15:22:15 · 7802 阅读 · 5 评论 -
storm消息机制
这章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)? What does it mean for a message to be "fully processed"? 首先的问题是, 什么叫tuple或message被fully processed转载 2016-07-23 11:42:17 · 3111 阅读 · 0 评论 -
storm一致性事务
Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决这个问题。Transactional Topology目前已经不再维护,由Trident来实现事务性topology,但是原理相同。转载 2016-07-23 23:43:04 · 4513 阅读 · 1 评论 -
搭建storm集群
搭建storm集群系统centos71、安装Java jdk 1.72、安装zookeeper 3.4.83、安装Python2.7X4、安装storm0.95、安装git6、安装maven所有安装包,等会我会打包上传,地址会放到最后,大家需要可以下载1、安装jdk很简单下载jdk压缩包解压压缩包 ,我的安装目录是/software原创 2016-08-28 22:58:41 · 3157 阅读 · 2 评论 -
strom之Worker、executor、task详解
Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作:1. Worker(进程)2. Executor(线程)3. Task下图简要描述了这3者之间的关系:上图和下面这张图一样看看官网的对这部分的讲解Example of a running topologyThe following illust原创 2016-08-19 15:57:02 · 2975 阅读 · 1 评论 -
Storm UI详解
Storm ui 展示字段说明Storm ui 首页主要分为4块: Cluster Summary,Topology summary,Supervisor summary,Nimbus Configuration,如下图所示: Cluster SummaryVersion: storm 版本号Nimbus uptime: nimbus 运行时转载 2016-12-02 09:34:11 · 20964 阅读 · 2 评论