Dubbo-线程模型与线程池策略

1.线程池策略       

resources目录下的com.alibaba.dubbo.common.threadpool.ThreadPool的文件

fixed=com.alibaba.dubbo.common.threadpool.support.fixed.FixedThreadPool
cached=com.alibaba.dubbo.common.threadpool.support.cached.CachedThreadPool
limited=com.alibaba.dubbo.common.threadpool.support.limited.LimitedThreadPool

说明:

  • dubbo的线程池策略通过SPI配置文件对外提供,在com.alibaba.dubbo.common.threadpool.ThreadPool文件当中定义。
  • dubbo的线程池策略对外提供了三种策略,分别是fixed、cached、limited三类。
  • 每类策略的定义见下述源码。

配置如:

<dubbo:protocol name="dubbo" dispatcher="all" threadpool="fixed" threads="100" />

1.1 CachedThreadPool

public class CachedThreadPool implements ThreadPool {

    public Executor getExecutor(URL url) {
        String name = url.getParameter(Constants.THREAD_NAME_KEY, Constants.DEFAULT_THREAD_NAME);
        int cores = url.getParameter(Constants.CORE_THREADS_KEY, Constants.DEFAULT_CORE_THREADS);
        int threads = url.getParameter(Constants.THREADS_KEY, Integer.MAX_VALUE);
        int queues = url.getParameter(Constants.QUEUES_KEY, Constants.DEFAULT_QUEUES);
        int alive = url.getParameter(Constants.ALIVE_KEY, Constants.DEFAULT_ALIVE);
        return new ThreadPoolExecutor(cores, threads, alive, TimeUnit.MILLISECONDS,
                queues == 0 ? new SynchronousQueue<Runnable>() :
                        (queues < 0 ? new LinkedBlockingQueue<Runnable>()
                                : new LinkedBlockingQueue<Runnable>(queues)),
                new NamedThreadFactory(name, true), new AbortPolicyWithReport(name, url));
    }
}

说明:

  • CachedThreadPool的实现可以理解为JDK当中Executors.newCachedThreadPool()方法。

1.2 FixedThreadPool

public class FixedThreadPool implements ThreadPool {

    public Executor getExecutor(URL url) {
        String name = url.getParameter(Constants.THREAD_NAME_KEY, Constants.DEFAULT_THREAD_NAME);
        int threads = url.getParameter(Constants.THREADS_KEY, Constants.DEFAULT_THREADS);
        int queues = url.getParameter(Constants.QUEUES_KEY, Constants.DEFAULT_QUEUES);
        return new ThreadPoolExecutor(threads, threads, 0, TimeUnit.MILLISECONDS,
                queues == 0 ? new SynchronousQueue<Runnable>() :
                        (queues < 0 ? new LinkedBlockingQueue<Runnable>()
                                : new LinkedBlockingQueue<Runnable>(queues)),
                new NamedThreadFactory(name, true), new AbortPolicyWithReport(name, url));
    }
}

说明:

  • FixedThreadPool的实现可以理解为JDK当中Executors.newFixedThreadPool()方法。

1.3 LimitedThreadPool

public class LimitedThreadPool implements ThreadPool {

    public Executor getExecutor(URL url) {
        String name = url.getParameter(Constants.THREAD_NAME_KEY, Constants.DEFAULT_THREAD_NAME);
        int cores = url.getParameter(Constants.CORE_THREADS_KEY, Constants.DEFAULT_CORE_THREADS);
        int threads = url.getParameter(Constants.THREADS_KEY, Constants.DEFAULT_THREADS);
        int queues = url.getParameter(Constants.QUEUES_KEY, Constants.DEFAULT_QUEUES);
        return new ThreadPoolExecutor(cores, threads, Long.MAX_VALUE, TimeUnit.MILLISECONDS,
                queues == 0 ? new SynchronousQueue<Runnable>() :
                        (queues < 0 ? new LinkedBlockingQueue<Runnable>()
                                : new LinkedBlockingQueue<Runnable>(queues)),
                new NamedThreadFactory(name, true), new AbortPolicyWithReport(name, url));
    }

}

说明:

  • LimitedThreadPool的实现可以理解为JDK当中Executors.newCachedThreadPool()方法。
  • LimitedThreadPool的区别在于线程池中的线程永远不会过期,因为alive时间为最大值。

1.4 NamedThreadFactory

public class NamedThreadFactory implements ThreadFactory {
    private static final AtomicInteger POOL_SEQ = new AtomicInteger(1);

    private final AtomicInteger mThreadNum = new AtomicInteger(1);

    private final String mPrefix;

    private final boolean mDaemon;

    private final ThreadGroup mGroup;

    public NamedThreadFactory() {
        this("pool-" + POOL_SEQ.getAndIncrement(), false);
    }

    public NamedThreadFactory(String prefix) {
        this(prefix, false);
    }

    public NamedThreadFactory(String prefix, boolean daemon) {
        mPrefix = prefix + "-thread-";
        mDaemon = daemon;
        SecurityManager s = System.getSecurityManager();
        mGroup = (s == null) ? Thread.currentThread().getThreadGroup() : s.getThreadGroup();
    }

    public Thread newThread(Runnable runnable) {
        String name = mPrefix + mThreadNum.getAndIncrement();
        Thread ret = new Thread(mGroup, runnable, name, 0);
        ret.setDaemon(mDaemon);
        return ret;
    }

    public ThreadGroup getThreadGroup() {
        return mGroup;
    }
}

说明

  • 提供了线程池中线程创建的工厂,推荐使用线程池时候一定要自定义线程池工厂,便于定位线程的用途。

 

2.线程模型

        Dubbo默认的底层网络通讯使用的是Netty,服务提供方NettyServer使用两级线程池,其中 EventLoopGroup(boss) 主要用来接受客户端的链接请求,并把接受的请求分发给 EventLoopGroup(worker) 来处理,boss和worker线程组我们称之为IO线程。

        如果服务提供方的逻辑能迅速完成,并且不会发起新的IO请求,那么直接在IO线程上处理会更快,因为这减少了线程池调度。

        但如果处理逻辑很慢,或者需要发起新的IO请求,比如需要查询数据库,则IO线程必须派发请求到新的线程池进行处理,否则IO线程会阻塞,将导致不能接收其它请求。

        具体配置方式如下两种:

<dubbo:provider dispatcher="xxx" />

        或者

<dubbo:protocol name="dubbo" dispatcher="xxx" />

目前dubbo提供的Dispatcher扩展实现有如下5种实现,默认派发方式是all

resources目录下的com.alibaba.dubbo.remoting.Dispatcher文件

all=com.alibaba.dubbo.remoting.transport.dispatcher.all.AllDispatcher
direct=com.alibaba.dubbo.remoting.transport.dispatcher.direct.DirectDispatcher
message=com.alibaba.dubbo.remoting.transport.dispatcher.message.MessageOnlyDispatcher
execution=com.alibaba.dubbo.remoting.transport.dispatcher.execution.ExecutionDispatcher
connection=com.alibaba.dubbo.remoting.transport.dispatcher.connection.ConnectionOrderedDispatcher

说明:

  • Dubbo线程模型在resources目录下的com.alibaba.dubbo.remoting.Dispatcher文件当中。
  • 提供5类线程模型,分别是all、direct、message、execution、connection。
  • 每类的用途见下面的介绍。

2.1 线程模型对比

        根据请求的消息类被IO线程处理还是被业务线程池处理,Dubbo提供了下面几种线程模型:

  • all : (AllDispatcher类)所有消息都派发到业务线程池,这些消息包括请求/响应/连接事件/断开事件/心跳等,这些线程模型如下图:

AllDispatcher

  • direct : (DirectDispacher类)所有消息都不派发到业务线程池,全部在IO线程上直接执行,模型如下图:

  • message : (MessageOnlyDispatcher类)只有请求响应消息派发到业务线程池,其他连接断开事件/心跳等消息,直接在IO线程上执行,模型图如下:

  • execution:(ExecutionDispatcher类)只把请求类消息派发到业务线程池处理,但是响应和其它连接断开事件,心跳等消息直接在IO线程上执行,模型如下图:

 

  • connection:(ConnectionOrderedDispatcher类)在IO线程上,将连接断开事件放入队列,有序逐个执行,其它消息派发到业务线程池处理,模型如下图:

### 回答1: dubboconsumer线程模型Dubbo框架中用于处理消费者请求的线程模型。它采用的是线程池模型,当有请求到达时,线程池会从中选取一个线程进行处理,处理完毕后线程会返回线程池中等待下一次请求。 然而,由于线程池的大小是有限的,如果在高并发的情况下,线程池中的线程已经全部被占用,新的请求将会被阻塞,导致系统的响应时间变慢甚至出现系统崩溃的情况。因此,在使用dubboconsumer线程模型时,需要合理配置线程池的大小,以及采用合适的线程池拒绝策略来避免这些问题。 ### 回答2: Dubbo是一种分布式服务框架,它采用了服务提供者和服务消费者的模式,通过RPC调用实现不同服务间的通信。在Dubbo中,consumer线程模型是负责处理服务消费者请求的。然而,这个线程模型也存在一些问题。 首先,dubbo consumer线程模型默认采用了单一的线程池来处理所有的请求,这意味着所有的请求都依赖于一个线程来处理。当请求量较大时,这个线程池可能会出现饱和的情况,导致请求无法及时得到处理。 其次,由于单一线程模型的设计,当某个请求发生阻塞的情况时,整个线程池可能会被阻塞。这会导致其他请求也无法得到处理,从而降低系统的吞吐量和并发性能。 另外,单一线程模型还存在资源共享的问题。由于所有的请求都依赖于同一个线程池,不同的请求可能会在同一时间访问共享的资源,这会带来并发冲突的问题,可能导致数据不一致性或者资源竞争的情况。 为了解决这些问题,Dubbo推出了可选的线程模型,包括线程池和消息队列等。这些线程模型可以根据实际需求来选择,以提高系统的吞吐量和并发性能。同时,也可以通过调整线程池的参数来优化系统的资源利用率和响应时间。 总之,Dubbo consumer线程模型存在着单一线程池饱和、阻塞和资源共享等问题。然而,通过选择合适的线程模型和优化参数,可以提高Dubbo的性能和可靠性。 ### 回答3: dubbo consumer线程模型存在以下几个问题: 首先,dubbo consumer线程模型采用的是单一线程模型,即每个Consumer服务仅使用一个线程来处理所有的请求。这种模式在面对高并发请求时会存在性能瓶颈,请求过多时可能会造成线程无法及时处理请求,导致请求堆积或被丢弃。 其次,单一线程模型也存在单点故障的风险。如果Consumer线程出现异常或崩溃,会导致整个服务不可用,无法正常提供服务。此外,由于只有一个线程在处理请求,如果这个线程发生死锁或长时间阻塞,会导致整个应用的性能下降或不可用。 此外,单一线程模型也不适用于多核处理器的优势。在现代机器硬件上,多核处理器能够更好地利用并发处理能力。单一线程模型无法充分发挥多核处理器的能力,导致性能无法提升。 最后,单一线程模型也不便于扩展。当需要增加Consumer的处理能力时,无法简单地通过增加线程数来实现,需要重新设计和实现线程模型。 为了解决这些问题,可以考虑使用多线程模型,将请求分发给多个线程并行处理,提高系统的并发处理能力和性能。同时,可以引入线程池机制来复用线程资源,避免频繁地创建和销毁线程
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值