Storm离线计算
Storm
一角残叶
人生如逆旅,我亦是行人
展开
-
Storm 学习笔记(5)—— Storm 通信机制
Worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Worker进程内部通信:不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信,Storm不负责,需要自己想办法实现,例如使用kafka等; 1 Worker进程间通信 对于worker进程来说,为了...原创 2018-09-24 22:00:00 · 254 阅读 · 0 评论 -
Storm 学习笔记(6)—— 自己实现 storm 流程分析
1 流程分析 1.1 任务分配 Task 总数; 可用worker 数量。 1.2 通信机制 去zookeeper 获取每个组件的任务。 启动不同服务 nimbus,手动, java -server xx.jar main-class supervisor 手动,java -server xx.jar main-class worker, supervisior 启动, java -s...原创 2018-09-25 11:53:54 · 194 阅读 · 0 评论 -
Storm 学习笔记(1)—— 离线计算背景介绍
1 离线计算 离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术:Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据 2 流式计算 流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示 代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、...原创 2018-09-20 19:15:34 · 645 阅读 · 0 评论 -
Storm 学习笔记(2)—— Storm 安装
1 Storm 安装部署 前提安装了 zookeeper 1.1 在三台机器同时创建安装目录 1.2 上传安装包到 node1,解压 tar -zxvf apache-storm-1.0.0.tar.gz -C /export/servers 创建软链接 ln -s apache-storm-1.0.0 storm 1.3 配置环境变量 vim /etc/profile export STO...原创 2018-09-21 09:40:32 · 496 阅读 · 0 评论 -
Storm 学习笔记(3)—— storm版 wordcount
1 新建maven 工程 1.1 配置依赖 https://search.maven.org <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://mav原创 2018-09-22 09:13:24 · 2391 阅读 · 1 评论 -
Storm 学习笔记(4)—— Storm 集群任务提交流程
1 Storm 启动流程 客户端运行 storm nimbus时,会调用 storm 的python脚本,该脚本为每个命令编写一个方法,每个方法都可以生成一条相应的java命令。 命令格式: java -server xxx.ClassName -args nimbus -----> Running: /export/servers/jdk/bin/java -server backty...原创 2018-09-22 21:38:43 · 903 阅读 · 0 评论