Storm集群搭建

转载 2015年11月18日 11:28:27
Storm是什么?
Storm是Twitter开源的一个分布式的实时计算系统

使用场景:

数据的实时分析,持续计算,分布式RPC等等. 
            
Storm特点:
(Storm类似手扶电梯,不出故障就会一直运行.  hadoop类似升降电梯,到达一定程度会停止) 
  • 分布式
  • 可扩展
  • 高可靠性
  • 编程模型简单
  • 高效实时
            
常用的类:
BaseRichSpout(消息生产者) 
BaseBasicBolt(消息处理者) 
TopologyBuilder(拓扑的构建器) 
Config(配置) 
StormSubmitter/LocalCluster(拓扑提交器)

Storm集群部署           

    Storm集群架构: 
    
        如图:

 


在Storm的集群里面有两种节点:

控制节点和工作节点。

控制节点上面运行一个叫Nimbus进程,Nimbus负责在集群里面分发代码,分配计算任务,并且监控状态。
每一个工作节点上面运行一个叫做Supervisor进程。 
Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的工作进程
Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成。 
        
集群规划:(根据具体需求规划)
linux主机名    Storm角色    Zookeeper 
master         Nimubus      单节点zk 
slave01        Supervisor    
slave02        Supervisor 
    
准备工作: 
环境:
centos6.4

软件: 
zmq-master 
storm-0.8.2 
zeromq-2.1.7 
zookeeper-3.4.5 
        
环境配置: 
linux基本配置: 
修改主机名 
修改IP 
修改主机和IP的映射关系 
关闭防火墙 
            
安装步骤: 
1.安装jdk 
2.搭建Zookeeper集群(这里我们只安装一个zk在主节点上) 
解压 
进入zk的conf目录下,cp zoo_sample.cfg zoo.cfg(修改一下名字) 
其它的暂时都不变 
3.安装Storm依赖(zeromq、jzmq、python) 
3.1安装zeromq,然后进入到zeromq-2.1.7/目录下 
检测环境:./configure 
cd zeromq-2.1.7 
./configure 
#编译可能会出错:
configure: error: Unable to find a working C++ compiler 
#安装一下依赖的rpm包:libstdc++-devel gcc-c++ 
虚拟机可以上网的情况下:(建议使用此方法) 
yum install gcc-c++ 
虚拟机不能上网情况:
方法1:虚拟机三种网络模式该如何上网指导
方法2:
首先到
http://mirrors.163.com/centos/6.4/os/x86_64/Packages/  
(下载的版本一定要和系统对应) 
rpm -i libstdc++-devel-4.4.7-3.el6.x86_64.rpm 
rpm -i gcc-c++-4.4.7-3.el6.x86_64.rpm 
rpm -i libuuid-devel-2.17.2-12.9.el6.x86_64.rpm 
然后运行./configure 
make(编译) 
make install(这个才彻底安装) 
3.2.编译安装JZMQ: 
cd jzmq 
执行./autogen.sh
(是为了让它产生配置文件,默认没有配置文件的) 
#报错:autogen.sh: error: could not find libtool. 
libtool is required to run autogen.sh.
缺少libtool 
同样,可上网情况下 
yum install libtool(readhat企业版不会出现这些报错)
或者手动安装 
rpm -i autoconf-2.63-5.1.el6.noarch.rpm 
rpm -i automake-1.11.1-4.el6.noarch.rpm 
rpm -i libtool-2.2.6-15.5.el6.x86_64.rpm 
./configure 
make 
make install 
3.33.编译安装Python
(先确定你系统自带的版本,如果是2.6.6或者之上的不需要安装)
tar –zxvf Python-2.6.6.tgz 
cd Python-2.6.6 
./configure 
make 
make install 
3.4安装storm 
修改storm.yaml配置文件(子节点上也得修改) 
修改zk对应的主机名 
修改主节点对应的主机名 
PS:
3.41.Storm发行版本解压目录下有一个
conf/storm.yaml文件: 
用于配置Storm。默认配置在这里可以查看
conf/storm.yaml中的 
配置选项将覆盖defaults.yaml中的默认配置。
以下配置选项是必须在
conf/storm.yaml中进行配置的: 
storm.zookeeper.servers:
Storm集群使用的Zookeeper集群地址,
其格式如下: 
storm.zookeeper.servers: 
- "111.222.333.444" 
- "555.666.777.888" 
如果Zookeeper集群使用的不是默认端口,
那么还需要storm.zookeeper.port选项。

3.42storm.local.dir: Nimbus和Supervisor进程
用于存储少量状态,  如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。
然后在storm.yaml中配置该目录,如:  storm.local.dir: "/usr/storm/workdir" 
                                
分别启动三台机器 
master:到storm的bin目录下
./storm nimbus > /dev/null 2>&1 & slave01:到storm的bin目录下
./storm supervisor > ../logs/su.log 2>&1 & slave02:到storm的bin目录下
./storm supervisor > ../logs/su.log 2>&1 & 
(启动后台进程,并把正确和错误的信息输出到该文件中) 
在master上启动UI管理界面
./storm ui > /dev/null 2>&1 & 
通过浏览器观察:(主节点的ip:8080) 
观察集群的worker资源使用情况、
Topologies的运行状态等信息。 

至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了

转载: http://www.aboutyun.com/thread-7271-1-1.html

相关文章推荐

Storm集群搭建

  • 2017年09月21日 11:27
  • 35KB
  • 下载

搭建storm集群

搭建storm集群 系统centos7 1、安装Java jdk  1.7 2、安装zookeeper 3.4.8 3、安装Python2.7X 4、安装storm0.9 5、安装git 6、安装...

Storm集群的搭建

环境要求:如果以下环境你已搭建好,请直接跳过。 1. java环境,如果还没有安装java环境,请点击! 2.zookeeper环境,对于storm集群来讲,单节点的zookeeper已经足够。但要配...

hadoop学习5 搭建storm集群

参阅: http://www.cnblogs.com/freeweb/p/5179410.html  非常感谢 注意集群的启动顺序以及概念。 整体比较顺利,出现了下面一个小问题: at clo...

Storm集群搭建

Storm学习笔记 Hadoop Storm hadoop 1 搭建Storm集群 1.1 安装Python 由于Ubuntu已经自带就直接使用 1.2 安装ZooKeepe...

搭建Storm集群

今天完成了storm集群的搭建,写一篇博客记录一下,方便以后工作。 总体分为5步。 1. 机器准备 我准备了3台机器 , 其充当的角色分别是 nimbus :  10.101.2...

storm集群搭建

一、集群部署如下: 192.168.215.90    主节点Nimbus 192.168.215.110   工作节点Supervisor         192.168.215.120   工作...

006-storm集群搭建

storm集群的安装

用两台物理机搭建storm集群

1 安装zookeeper 下载zookeeper-3.4.9     下载zookeeper-3.4.9.tar.gz,解压到/opt/。 sudo tar -C /opt -zxvf zooke...

Storm集群安装部署步骤

  • 2017年11月06日 00:25
  • 8KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storm集群搭建
举报原因:
原因补充:

(最多只允许输入30个字)