文章来源:http://www.bubuko.com/infodetail-822074.html
Storm
的并行度详解
Storm
的并行度是非常重要的,通过提高并行度可以提高storm
程序的计算能力。
那strom
是如何提高并行度的呢?
Strom
程序的执行是由多个supervisor
共同执行的。supervisor
运行的是topology
中的spout/bolt task
task
是storm
中进行计算的最小的运行单位,表示是spout
或者bolt
的运行实例。
程序执行的最大粒度的运行单位是进程,刚才说的task
也是需要有进程来运行它的,在supervisor
中,运行task
的进程称为worker
,
Supervisor
节点上可以运行非常多的worker
进程,一般在一个进程中是可以启动多个线程的,所以我们可以在worker
中运行多个线程,这些线程称为executor
,在executor
中运行task
。
这样的话就可以提高strom
的计算能力。
总结一下:worker>executor>task
要想提高storm
的并行度可以从三个方面来改造
worker(
进程)>executor(
线程)>task(
实例)
增加work
进程,增加executor
线程,增加task
实例
看下面的图:
这表示是一个work
进程,其实就是一个jvm
虚拟机进程,在这个work
进程里面有多个executor
线程,每个executor
线程会运行一个或多个task
实例。一个task
是最终完成数据处理的实体单元。(
默认情况下一个executor
运行一个task)
worker,executor,task
解释
1
个worker
进程执行的是1
个topology
的子集(注:不会出现1
个worker
为多个topology
服务)。1
个worker
进程会启动1
个或多个executor
线程来执行1
个topology
的component(spout
或bolt)
。因此,1
个运行中的topology
就是由集群中多台物理机上的多个worker
进程组成的。
executor
是1
个被worker
进程启动的单独线程。每个executor
只会运行1
个topology
的1
个component(spout
或bolt)
的task
(注:task
可以是1
个或多个,storm
默认是1
个component
只生成1
个task
,executor
线程里会在每次循环里顺序调用所有task
实例)。
task
是最终运行spout
或bolt
中代码的单元(注:1
个task
即为spout
或bolt
的1
个实例,executor
线程在执行期间会调用该task
的nextTuple
或execute
方法)。topology
启动后,1
个component(spout
或bolt)
的task
数目是固定不变的,但该component
使用的executor
线程数可以动态调整(例如:1
个executor
线程可以执行该component
的1
个或多个task
实例)。这意味着,对于1
个component
存在这样的条件:#threads<=#tasks
(即:线程数小于等于task
数目)。默认情况下task
的数目等于executor
线程数目,即1
个executor
线程只运行1
个task
。
刚才从理论说明了如何提高集群的并行度,
在这里我们就来看一下这些东西worker(
进程)>executor(
线程)>task(
实例)
是如何设置的
l worker(进程):这个worker进程数量是在集群启动之前配置好的,在哪配置的呢?是在storm/conf/storm.yaml文件中,参数是supervisor.slots.port,如果我们不在这进行配置的话,这个参数也是有默认值的,在strom-0.9.3的压缩包中的lib目录下,有一个strom-core.jar,打开这个jar文件,在里面有一个defaults.yaml文件中是有一些默认配置的。
默认情况下一个storm项目只使用一个work进程,也可以通过代码进行修改,通过config.setNumWorkers(workers)设置。(最好一台机器上的一个topology只使用一个worker,主要原因时减少了worker之间的数据传输)
注意:如果worker使用完的话再提交topology就不会执行,因为没有可用的worker,只能处于等待状态,把之前运行的topology停止一个之后这个就会继续执行了,
l executor(线程):默认情况下一个executor运行一个task,可以通过在代码中设置builder.setSpout(
id,
spout,
parallelism_hint);或者builder.setBolt(
id,
bolt,
parallelism_hint);来提高线程数的。
l task(实例):通过boltDeclarer.setNumTasks(
num);来设置实例的个数
默认情况下,一个supervisor节点会启动4个worker进程。每个worker进程会启动1个executor,每个executor启动1个task。
Ok,这几个参数都可以使用一些方法进行增加。
下面来举个例子看一下对这些配置修改之后的效果
l worker(进程),通过在代码中设置,可以在ui界面上查看worker的总数,并且还可以在linux服务器上执行jps查看work进程。
在代码中设置使用3个worker,查看ui界面,发现workers是3个,executors使用了5个,为什么呢?因为每一个worker默认都会占用一个executor(这个executor会启动一个acker任务),这样就会占用三个,剩下的两个是spout和bolt实例占用了。
如果使用5个worker,executor会使用7个,因为worker本身就会占用5个,spout和bolt占用两个。
Acker任务默认是每个worker进程启动一个executor线程来执行,,可以在topology中取消acker任务,这样的话就不会多出来一个executor和任务了。
代码如下:
实际上就是修改一个配置
topology.acker.executors
这样的话在页面查看就只有两个executor和2个task了。
l executor(线程),在spout和bolt中设置线程数,都设置为2个,查看ui界面
现在使用的executor和tasks就是7个了,因为worker本身使用3个,spout和bolt分别使用2个。
l task(实例),在sum中设置实例个数为5,查看ui界面
发现ui
界面上显示的tasks
是10
,因为spout
占用2
个,bolt
占用5
个,剩下的3
个由acker
任务占用
注意:虽然在这设置了多个task实例,但是并行度并没有很大提高,因为只有两个线程去运行这些实例,只有设置足够多的线程和实例才可以真正的提高并行度。
在这设置多个实例主要是为了下面执行rebalance的时候用到,因为rebalance不需要修改代码,就可以动态修改topology的并行度,这样的话就必须提前配置好多个实例,在rebalance的时候主要是对之前设置多余的任务实例分配线程去执行。
在命令行动态修改并行度
除了使用代码进行调整,还可以在shell命令行下对并行度进行调整。
storm rebalance mytopology -w 10 -n 2 -e spout=2 -e bolt=2
表示 10秒之后对mytopology进行并行度调整。把spout调整为2个executor,把bolt调整为2个executor
注意:并行度主要就是调整executor
的数量,但是调整之后的executor
的数量必须小于等于task
的数量,如果分配的executor
的线程数比task
数量多的话也只能分配和task
数量相等的executor
。