storm
weizhouck
学无止境,乐此不疲
展开
-
Storm入门介绍一
概述离线计算是什么?批量获取数据,批量传输数据,周期性批量计算数据,数据展示。(形象的比喻:电梯载客,一波一波的来)代表技术:Sqoop 批量导入数据,HDFS 批量存储数据 ,MapRduce Hive 批量计算数据,azkaban 任务调度。日常业务:hivesql , 调度平台 ,Hadoop集群运维 ,数据清洗 ,元数据管理 ,数据稽查 ,数据仓库模型架构流式计算是什么...原创 2018-10-22 17:52:08 · 203 阅读 · 0 评论 -
Storm安装以及单词统计案例二
安装 1 :解压安装包 tar -zxvf apache-storm-0.9.5.tar.gz 2 :修改配置文件 vi storm/conf/storm.yaml#指定storm使用的zk集群storm.zookeeper.servers: - "hadoop01" - "hadoop02" - "hadoop03"#指定storm集群中的nimb...原创 2018-10-26 10:03:06 · 214 阅读 · 0 评论 -
Strom集群启动流程以及任务提交分析三
Storm 启动流程分析1:client 端分析客户端运行 storm nimbus 时,会调用storm 的 python 脚本,该脚本中为每个命令编写一个方法,每个方法都可以生成一条相应的 java 命令。命令格式如下:java-server xxxx.ClassName- args nimbus---> Running: /export/servers/jdk/bin/...原创 2018-10-26 14:09:11 · 195 阅读 · 0 评论 -
Storm 消息容错机制和通信四
ack 是什么ack 机制是 storm 整个技术体系中非常闪亮的一个创新点。通过 ack 机制,spout 发送的每一条信息,都可以确定是被成功处理或失败处理,从而可以让开发者采取行动。比如在meta中,成功被处理,即可更新偏移量,当失败时,重复发送处理。因此,通过 ack 机制,很容易做到保证所有数据均被处理,一条不漏。另外需要注意的, 当 spout 触发 fail 动作时,...原创 2018-10-26 17:12:49 · 266 阅读 · 0 评论