![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm离线计算
Storm
一角残叶
人生如逆旅,我亦是行人
展开
-
Storm 学习笔记(5)—— Storm 通信机制
Worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。Worker进程内部通信:不同worker的thread通信使用LMAX Disruptor来完成。不同topologey之间的通信,Storm不负责,需要自己想办法实现,例如使用kafka等;1 Worker进程间通信对于worker进程来说,为了...原创 2018-09-24 22:00:00 · 243 阅读 · 0 评论 -
Storm 学习笔记(6)—— 自己实现 storm 流程分析
1 流程分析1.1 任务分配Task 总数;可用worker 数量。1.2 通信机制去zookeeper 获取每个组件的任务。启动不同服务nimbus,手动, java -server xx.jar main-classsupervisor 手动,java -server xx.jar main-classworker, supervisior 启动, java -s...原创 2018-09-25 11:53:54 · 188 阅读 · 0 评论 -
Storm 学习笔记(1)—— 离线计算背景介绍
1 离线计算离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术:Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据2 流式计算流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、...原创 2018-09-20 19:15:34 · 634 阅读 · 0 评论 -
Storm 学习笔记(2)—— Storm 安装
1 Storm 安装部署前提安装了 zookeeper1.1 在三台机器同时创建安装目录1.2 上传安装包到 node1,解压tar -zxvf apache-storm-1.0.0.tar.gz -C /export/servers创建软链接ln -s apache-storm-1.0.0 storm1.3 配置环境变量vim /etc/profileexport STO...原创 2018-09-21 09:40:32 · 486 阅读 · 0 评论 -
Storm 学习笔记(3)—— storm版 wordcount
1 新建maven 工程1.1 配置依赖https://search.maven.org<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://mav原创 2018-09-22 09:13:24 · 2380 阅读 · 1 评论 -
Storm 学习笔记(4)—— Storm 集群任务提交流程
1 Storm 启动流程客户端运行 storm nimbus时,会调用 storm 的python脚本,该脚本为每个命令编写一个方法,每个方法都可以生成一条相应的java命令。命令格式: java -server xxx.ClassName -argsnimbus -----> Running: /export/servers/jdk/bin/java -server backty...原创 2018-09-22 21:38:43 · 893 阅读 · 0 评论