Storm学习笔记
ALL--IN
在追求技术的道路上,不断前行~
展开
-
Storm教程1理论介绍
流式计算的历史: 早在7、8年前诸如UC伯克利、斯坦福等大学就开始了对流式数据处理的研究,但是由于更多的关注于金融行业的业务场景或者互联网流量监控的业务场景,以及当时互联网数据场景的限制,造成了研究多是基于对传统数据库处理的流式化,对流式框架本身的研究偏少。目前这样的研究逐渐没有了声音,工业界更多的精力转向了实时数据库。 2010年Yahoo!对S4的开源,2011年twi转载 2017-02-11 16:08:56 · 405 阅读 · 0 评论 -
Storm教程2安装部署
Storm 安装部署部署Storm集群需要依次完成的安装步骤: 1.安装jdk6及以上版本; 2. 搭建Zookeeper集群; 3. 安装Storm依赖库; 4. 下载并解压Storm发布版本; 5. 修改storm.yaml配置文件; 6. 启动Storm各个后台进程。———————————————————————————————转载 2017-02-11 17:34:49 · 384 阅读 · 0 评论 -
Storm教程3编程接口
SpoutsSpout是Stream的消息产生源,Spout组件的实现可以通过继承BaseRichSpout类或者其他Spout类来完成,也可以通过实现IRichSpout接口来实现。需要根据情况实现Spout类中重要的几个方法有:open方法当一个Task被初始化的时候会调用此open方法。一般都会在此方法中对发送Tuple的对象SpoutOutput转载 2017-02-11 18:00:07 · 324 阅读 · 0 评论 -
Storm简介
Storm是实时流式数据处理框架,支持多种编程语言应用案例:realtime analyticsonline machine learningcontinuous computationdistributed RPCETL性能:a million tuples per second per node可扩展、高容错结合消息队列和数据库一起使转载 2017-02-03 13:40:56 · 271 阅读 · 0 评论 -
Storm集群搭建
虚拟机4台:hdp0 hdp1 hdp2 hdp31、在hdp0、hdp1、hdp2安装ZooKeeper;2、将Storm安装包解压到hdp0上;3、修改conf/storm.yamlstorm.zookeeper.servers: -"hdp0"-"hdp1"-"hdp2"nimbus.host:"hdp0"4、将配置好的Storm文件夹scp至hdp转载 2017-02-03 11:19:57 · 202 阅读 · 0 评论