![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm
weizhouck
学无止境,乐此不疲
展开
-
Storm入门介绍一
概述 离线计算是什么? 批量获取数据,批量传输数据,周期性批量计算数据,数据展示。(形象的比喻:电梯载客,一波一波的来) 代表技术:Sqoop 批量导入数据,HDFS 批量存储数据 ,MapRduce Hive 批量计算数据,azkaban 任务调度。 日常业务:hivesql , 调度平台 ,Hadoop集群运维 ,数据清洗 ,元数据管理 ,数据稽查 ,数据仓库模型架构 流式计算是什么...原创 2018-10-22 17:52:08 · 210 阅读 · 0 评论 -
Storm安装以及单词统计案例二
安装 1 :解压安装包 tar -zxvf apache-storm-0.9.5.tar.gz 2 :修改配置文件 vi storm/conf/storm.yaml #指定storm使用的zk集群 storm.zookeeper.servers: - "hadoop01" - "hadoop02" - "hadoop03" #指定storm集群中的nimb...原创 2018-10-26 10:03:06 · 221 阅读 · 0 评论 -
Strom集群启动流程以及任务提交分析三
Storm 启动流程分析 1:client 端分析 客户端运行 storm nimbus 时,会调用storm 的 python 脚本,该脚本中为每个命令编写一个方法,每个方法都可以生成一条相应的 java 命令。 命令格式如下:java-server xxxx.ClassName- args nimbus---> Running: /export/servers/jdk/bin/...原创 2018-10-26 14:09:11 · 201 阅读 · 0 评论 -
Storm 消息容错机制和通信四
ack 是什么 ack 机制是 storm 整个技术体系中非常闪亮的一个创新点。 通过 ack 机制,spout 发送的每一条信息,都可以确定是被成功处理或失败处理,从而可以让开发者采取行动。比如在meta中,成功被处理,即可更新偏移量,当失败时,重复发送处理。 因此,通过 ack 机制,很容易做到保证所有数据均被处理,一条不漏。 另外需要注意的, 当 spout 触发 fail 动作时,...原创 2018-10-26 17:12:49 · 277 阅读 · 0 评论