storm集群安装配置

原创 2017年08月12日 09:07:27

安装storm集群,需要依赖以下组件:

  • Zookeeper
  • Python
  • Storm
  • JDK

1.安装jdk

省略,安装jdk很简单,网上有很多教程,这里不再说明。

2.安装zookeeper

可以参照这篇:http://blog.csdn.net/weiyongle1996/article/details/73744770

3.安装python

一般linux系统都会自带python,查看是否安装python

[root@mini3 bin]# python -V
Python 2.7.5

4.安装storm

下载稳定版本的storm,然后解压将其拷贝到安装目录(目录可以任选):

$ wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
$ unzip storm-0.8.1.zip 
$ mv storm-0.8.1 /home/storm/apps
配置环境变量(可以不配置)
export STORM_HOME=/home/storm/apps
export PATH=$PATH:$STORM_HOME/bin
建立storm存储目录:

mkdir /home/storm/apps/storm-0.8.1/storm
修改配置文件/usr/lib/storm/conf/storm.yaml,修改为如下:
 storm.zookeeper.servers: #zookeeper集群主机名
     - "mini1"
     - "mini2"
     - "mini3"
 ui.port: 8081 #Storm UI的服务端口
 nimbus.host: "mini1" #Storm集群Nimbus所在机器主机名
 storm.local.dir: "/home/storm/apps/storm-0.8.1/storm" #storm存储目录,刚才所创建的
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

supervisor.slots.ports:对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口

将storm分发到其他机器

scp -r storm-0.8.1/ root@mini2:/home/storm/apps
scp -r storm-0.8.1/ root@mini3:/home/storm/apps

ok,配置完成,可以启动看看了。

5.启动

在nimbus.host所属的机器上启动 nimbus服务

切换到storm目录下的bin目录(如果你没有配置环境变量的情况下)

nohup ./storm nimbus &

在nimbus.host所属的机器上启动ui服务

nohup ./storm ui &

在其它个点击上启动supervisor服务

nohup ./storm supervisor &
启动好之后可以使用jps查看是否有相关进程,也可以使用浏览器访问如下:



OK,配置成功。




版权声明:本文为博主原创文章,未经博主允许不得转载。

centos上storm 安装与部署

storm有两种操作模式: 本地模式和远程模式 本文描述如何快速搭建一个Storm,其中,在相应地方以“注意”的形式给出。 注:以下安装部署中localhost表示本机ip 一、部署Zookeep...
  • B_boyi
  • B_boyi
  • 2016年04月06日 11:15
  • 232

storm集群安装配置

一、storm概述   对比Hadoop的批处理,Storm是个实时的、分布式以及具备高容错的计算系统。同Hadoop一样Storm也可以处理大批量的数据,然而Storm在保证高可靠性的前提下...
  • liangjianyong007
  • liangjianyong007
  • 2016年11月06日 14:23
  • 214

centos7环境下搭建storm集群

前提:使用的zookeeper集群为:11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181并且zookeeper集群已经启动成功;下面将以1...
  • hjx_1000
  • hjx_1000
  • 2017年04月18日 17:27
  • 1511

CentOS7.0安装配置Storm集群

1.环境准备 操作系统: CentOS7.0 Zookeeper版本:zookeeper-3.4.10 Storm版本:apache-storm-1.1.0 JDK版本:jdk1.8.0_77 Pyt...
  • jssg_tzw
  • jssg_tzw
  • 2017年06月21日 13:56
  • 1268

Storm集群搭建、storm集群部署

分布式的实时计算框架、偏向于业务逻辑、消息队列的产品、高可用、分布式、可扩展 分布式网站架构         点击流日志收集系统、多个tomcat的日志收集         实时数据产生、实时数据传...
  • USTC_Zn
  • USTC_Zn
  • 2017年02月01日 23:14
  • 341

Storm集群的安装配置

Storm集群的安装分为以下几步:   1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装   2、释放压缩包   3、修改storm.yaml添加集群配置信息 ...
  • litianquan
  • litianquan
  • 2017年11月01日 17:10
  • 110

Storm集群安装配置详细方法

Storm-0.10.0 集群安装和配置         最近要做毕业设计,需要用到storm流式计算架构,工欲善其事必先利其器,第一步当然是配置环境,借鉴师姐的总结加上自己在实战中的理解,总结...
  • u010203544
  • u010203544
  • 2016年12月09日 16:19
  • 2178

CentOS7环境下搭建storm集群

使用的zookeeper集群为:11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 并且zookeeper集群已经启动成功;下面将以11....
  • u011365831
  • u011365831
  • 2017年09月29日 12:50
  • 173

Storm集群组成简介

以下资料均来自:https://github.com/nathanmarz/storm/wiki/Tutorial Storm集群的组件 一个Storm集群特别类似于Hadoop集群,正如在Had...
  • hewei0241
  • hewei0241
  • 2012年11月05日 17:40
  • 1234

ubuntu14.04-server 上的 storm 集群配置

在实验的3台戴尔服务器上配置了strom集群,简单记录一下。写的比较糙,大家凑合看 ubuntu14.04-server系统 3台服务器  172.16.21.1  172.16.21.2  172...
  • u010930785
  • u010930785
  • 2016年10月11日 17:14
  • 629
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:storm集群安装配置
举报原因:
原因补充:

(最多只允许输入30个字)