- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 Storm(六):数据流的分流与合流
Storm 对数据处理时,不同的数据交给不同的bolt来处理,然后处理好的数据传给同个bolt来存储到数据库,这时就需要分流与合流,我们通过一个例子了解分流与合流。
2017-06-11 11:19:18 3329
原创 Storm(五)拓扑并行度
Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),一个工作节点运行一个或者多个Worker 进程,Worker 是Topology的子集,Topology对应一个或者多个Worker 。 Topology主要是由Worker 、Executor、Task组成的,Topology对应一个或者多个worker(是一个独立的JVM 进程) ,worker 下又有多个Executor线程,Executor下对应一个或者多个Task,默认情况下一个Ex
2017-06-11 11:02:32 1928
原创 Storm(四):容错机制
Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),在集群下,怎么保证拓扑的可靠性,storm提供哪些容错机制?
2017-06-11 10:25:18 3324
原创 Storm(三):Storm入门Demo
我们前面的文章对Apache Storm 是一个开源的分布式、实时、可扩展、容错的计算系统的基本知识进行熟悉之后,我们通过Storm简单的例子把应用跟基础知识结合起来。 Storm的Topology是一个分布式实时计算应用,它通过Stream groupings把spouts和Bolts串联起来组成了流数据处理结构,Topologys在集群中一直运行,直到kill(storm kill topology-name [-w wait-time-secs]) 拓扑时扑才会结束运行。
2017-06-11 10:04:34 8202 4
原创 Storm(二):集群部署配置
Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),控制节点可以一个,工作节点多个组成的,而Zookeeper主要负责Nimbus节点和Supervisor节点之间的协调工作。介绍安装部署storm集群,并且Storm ui是storm集群的监控页面,可以查看Nimbus、Supervisor分布情况以及状态等信息,方便我们管理Storm集群以及拓扑。
2017-06-10 23:39:14 2698
原创 Storm(一) :基础知识
Apache Storm 是一个开源的分布式、实时、可扩展、容错的计算系统。Apache Storm Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样。Storm处理速度很快,每个节点每秒钟可以处理超过百万的数据组。 Apache Storm应用的场景例如:实时分析、在线机器学习、连续计算、分布式RPC、ETL 等。
2017-06-10 23:13:32 2483
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人