Centos6.5下Storm1.1.1安装配置

一、安装storm前必须安装好Zookeeper,并成功启动,见之前的博客

二、下载storm1.1.1,地址:http://storm.apache.org/downloads.html

三、  (先启动zookeeper)

          192.168.120.201 部署nimbus,启动UI;

          192.168.120.202  部署supervisor

          192.168.120.203  部署supervisor

四、详细过程:

1、把安装包放到三台服务器的指定目录下,此时选择 /usr/local/ 下;

以部署nimbus为例,supervisor部署只有一点不同:

2、进行解压

   > tar -zxvf storm1.1.1.tar.gz

  >mv storm1.1.1 /usr/local/storm   (把名字改的简单点)

3、修改环境变量:

  >vi /etc/profile

添加:

并使之生效:

  > source /etc/profile

4、输入strom version查看版本信息

表示以上步骤都成功

5、在storm文件夹里创建一个存放数据的目录:

  >mkdir data

6、修改配置文件:

进入到storm文件夹下的conf目录下

  >vi storm.yarm

由于zookeeper集群是搭建在同一个服务器的不同端口上,所以只有ports不同

storm.zookeeper.servers是代表搭建的zookeeper集群的ip,不带端口号

storm.zookeeper.ports是关于zookeeper的端口号,与servers上的ip对应

storm.local.dir是刚刚创建data的目录地址

nimbus.seeds是之前指定的ip

ui是启动网页时的端口号,只需要在nimbus的配置文件中指定,另外两个supervisor的配置文件中可以不写

7、在上述配置文件中遇到的坑:

由于yarm文件的格式十分的严格,所以格式需要特别注意

(1)不能使用tab键补齐,需要空格,比如上面的servers和ports下面的八个空格,否则会报如下的错误:

(2)每个属性顶头写,冒号后面留一个空格

8、说明:

    1、storm.zookeeper.servers是指定zookeeper的服务地址。

因为storm的存储信息在zookeeper上,所以要配置zookeeper的服务地址。如果zookeeper是单机就只用指定一个!

    2、storm.local.dir 表示存储目录。

Nimbus和Supervisor守护进程需要在本地磁盘上存储一个目录来存储少量的状态(比如jar,confs等等)。可以在每台机器创建,并给于权限。

    3、nimbus.seeds 表示候选的主机。

worker需要知道那一台机器是主机候选(zookeeper集群是选举制),从而可以下载 topology jars 和confs。

    4、supervisor.slots.ports 表示worker 端口。

对于每一个supervisor机器,我们可以通过这项来配置运行多少worker在这台机器上。每一个worker使用一个单独的port来接受消息,这个端口同样定义了那些端口是开放使用的。如果你在这里定义了5个端口,就意味着这个supervisor节点上最多可以运行5个worker。如果定义3个端口,则意味着最多可以运行3个worker。在默认情况下(即配置在defaults.yaml中),会有有四个workers运行在 6700, 6701, 6702, and 6703端口。

supervisor并不会在启动时就立即启动这四个worker。而是接受到分配的任务时,才会启动,具体启动几个worker也要根据我们Topology在这个supervisor需要几个worker来确定。如果指定Topology只会由一个worker执行,那么supervisor就启动一个worker,并不会启动所有。

注: 这些配置前面不要有空格!!!,不然会报错。 这里使用的是主机名(做了映射),也可以使用IP。实际的以自己的为准。

可以使用scp命令或者ftp软件将storm复制到其他机器上

 

成功配置之后,然后就可以启动Storm了,不过要确保JDK、Zookeeper已经正确安装,并且Zookeeper已经成功启动。

9、nimbus配置完成,两个supervisor配置同上,只不过配置文件中不写ui: 8080这一句

10、切换到storm/bin目录下,启动:

(1)启动nimbus:

  >./storm nimbus &  (后台运行)

或者

   >./storm nimbus >/dev/null 2>&1 &

(2)访问web界面:

   >./storm ui

(3)启动两个supervisor:

   >./storm supervisor &    (后台运行)

或者:

    >./storm supervisor >/dev/null 2>&1 &

启动成功后:

打开网址:http://192.168.120.201:8080/index.html

即可看到下面页面内容

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
目标检测(Object Detection)是计算机视觉领域的一个核心问题,其主要任务是找出图像中所有感兴趣的目标(物体),并确定它们的类别和位置。以下是对目标检测的详细阐述: 一、基本概念 目标检测的任务是解决“在哪里?是什么?”的问题,即定位出图像中目标的位置并识别出目标的类别。由于各类物体具有不同的外观、形状和姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具挑战性的任务之一。 二、核心问题 目标检测涉及以下几个核心问题: 分类问题:判断图像中的目标属于哪个类别。 定位问题:确定目标在图像中的具体位置。 大小问题:目标可能具有不同的大小。 形状问题:目标可能具有不同的形状。 三、算法分类 基于深度学习的目标检测算法主要分为两大类: Two-stage算法:先进行区域生成(Region Proposal),生成有可能包含待检物体的预选框(Region Proposal),再通过卷积神经网络进行样本分类。常见的Two-stage算法包括R-CNN、Fast R-CNN、Faster R-CNN等。 One-stage算法:不用生成区域提议,直接在网络中提取特征来预测物体分类和位置。常见的One-stage算法包括YOLO系列(YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等)、SSD和RetinaNet等。 四、算法原理 以YOLO系列为例,YOLO将目标检测视为回归问题,将输入图像一次性划分为多个区域,直接在输出层预测边界框和类别概率。YOLO采用卷积网络来提取特征,使用全连接层来得到预测值。其网络结构通常包含多个卷积层和全连接层,通过卷积层提取图像特征,通过全连接层输出预测结果。 五、应用领域 目标检测技术已经广泛应用于各个领域,为人们的生活带来了极大的便利。以下是一些主要的应用领域: 安全监控:在商场、银行
目标检测(Object Detection)是计算机视觉领域的一个核心问题,其主要任务是找出图像中所有感兴趣的目标(物体),并确定它们的类别和位置。以下是对目标检测的详细阐述: 一、基本概念 目标检测的任务是解决“在哪里?是什么?”的问题,即定位出图像中目标的位置并识别出目标的类别。由于各类物体具有不同的外观、形状和姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具挑战性的任务之一。 二、核心问题 目标检测涉及以下几个核心问题: 分类问题:判断图像中的目标属于哪个类别。 定位问题:确定目标在图像中的具体位置。 大小问题:目标可能具有不同的大小。 形状问题:目标可能具有不同的形状。 三、算法分类 基于深度学习的目标检测算法主要分为两大类: Two-stage算法:先进行区域生成(Region Proposal),生成有可能包含待检物体的预选框(Region Proposal),再通过卷积神经网络进行样本分类。常见的Two-stage算法包括R-CNN、Fast R-CNN、Faster R-CNN等。 One-stage算法:不用生成区域提议,直接在网络中提取特征来预测物体分类和位置。常见的One-stage算法包括YOLO系列(YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等)、SSD和RetinaNet等。 四、算法原理 以YOLO系列为例,YOLO将目标检测视为回归问题,将输入图像一次性划分为多个区域,直接在输出层预测边界框和类别概率。YOLO采用卷积网络来提取特征,使用全连接层来得到预测值。其网络结构通常包含多个卷积层和全连接层,通过卷积层提取图像特征,通过全连接层输出预测结果。 五、应用领域 目标检测技术已经广泛应用于各个领域,为人们的生活带来了极大的便利。以下是一些主要的应用领域: 安全监控:在商场、银行
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值