storm
简单的介绍了sotrm概念、配置及使用方法,并对实际使用过程中遇到的问题及经验进行讲解。
勇敢牛牛_
不念往昔,无惧将来。
展开
-
storm-KafkaSpuout源码分析
一、属性//org.apache.storm.spout.SpoutOutputCollectorprotected SpoutOutputCollector collector;//org.apache.storm.kafka.spout.KafkaSpoutConfigprivate final KafkaSpoutConfig<K, V> kafkaSpoutConfi...原创 2018-11-26 16:22:20 · 750 阅读 · 0 评论 -
storm之spout
一、什么是spoutspout:喷嘴、喷口。即数据从这里发出。spout是storm的数据来源,而spout的数据来源又是从其他地方,比如数据库或者消息中间件中流入的。以Kafka为例,spout先从kafka中拉取数据,然后封装为一个tuple,发给下游的bolt进行处理。对于Kafka来说,spout是消费者;对于bolt来说spout是生产者。为什么要用spout去拉取消息,而不是直...原创 2018-11-23 10:50:22 · 2792 阅读 · 0 评论 -
storm配置项
一、storm配置项其中常用的几个:storm.zookeeper.servers:storm.zookeeper.portstorm.cluster.modenimbus.hostnimbus.superviosr.timeout.secsui.porttopplogy.acker.executorstopology.max.spout.pending二、topology配...原创 2018-11-23 10:48:12 · 511 阅读 · 0 评论 -
storm基本架构
一、基本架构**nimbus:**storm的核心,负责分配任务和监控工作状态**supervisor:**监听nimbus分配的任务,负责启动/关闭worker**worker:**一个worker是一个独立的进程,负责执行一个topology**executor:**worker的执行线程,一个worker中可以有多个executor。**task:**storm中最小的处理单元,...原创 2018-11-23 10:46:00 · 1074 阅读 · 0 评论 -
storm概述
一、什么是storm实时流数据处理平台。大数据套件中的一个。storm就属于上图所示的流式计算中的一个。几个名词:流数据:引用自百度百科:流数据是指由数千个数据源持续生成的数据,通常也同时以数据记录的形式发送,规模较小(约几千字节)。流数据包括多种数据,例如客户使用您的移动或 Web 应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网站信息、金融交易大厅或地理空间服务,以及来...原创 2018-11-23 10:44:15 · 998 阅读 · 0 评论