storm
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
实时分析集群storm的部署(包括centos的具体安装)
1、安装虚拟机1.1、准备软件: 1、VMwareWorkstation 12.zip 虚拟机软件 2、CentOS-6.5-x86_64-bin-DVD1.iso 64位操作系统1.2、安装虚拟机软件 要想成功安装,务必删除掉已有的虚拟机软件1.3、安装操作系统l 运行虚拟机软件,点击软件右上角的文件,选择新建虚拟机,会弹出新建虚拟机向导页面...原创 2018-07-03 01:11:48 · 340 阅读 · 0 评论 -
storm的核心组件,编程模型,一般机构图
1、Storm核心组件(重要)l Nimbus:负责资源分配和任务调度。l Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程。---通过配置文件设置当前supervisor上启动多少个worker。l Worker:运行具体处理组件逻辑的进程。Worker运行的任务类型只有两种,一种是Spout任务,一种是Bolt任务。l Task:worke...原创 2018-07-03 01:12:19 · 367 阅读 · 0 评论 -
storm的搭建
1、所有集群上配置hosts192.16.1.140 storm1 zk01 hadoop1192.16.1.141 storm2 zk02 hadoop2192.16.1.142 storm3 zk03 hadoop32、关闭防火墙service iptables stopchkconfig iptables offvi /etc/sysonfig/selinux3、创建用...原创 2018-07-07 00:30:23 · 160 阅读 · 0 评论