在线程池中调用motan服务异常导致整个线程不可用

在线程中使用三个线程不断的从一个阻塞队列中获取数据并通过调用motan服务将数据发送到服务端。

但是调用motan服务的时候(涉及到网络)有可能会出现异常，但是又希望数据能尝试两次发送。

因此有如下写法：

ExecutorService fixedThreadPool = Executors.newFixedThreadPool(threadSize);
        // 启用三个线程
        for (int i = 0; i < threadSize; i++) {
            fixedThreadPool.execute(new Runnable() {
                @Override
                public void run() {
                    while (true) {

                     List<SiteBean> sites = queueLinks.take();
                        try {
                           //从队列中获取数据
                           taskQueueApi.sendArray(topic, sites);
                        } catch (Exception e) {
                            logger.error("链接回传队列再次发送：{}",taskQueueApi.sendArray(topic, sites));
                        }
                    }
                }
            });
       }

当运行一段时间会出现问题，就是整个程序卡死。

通过jstack -l 输出相关的线程信息,发现线程池中的三个线程都是处于waiting状态。但是看队列的大小，却是已经满了。

回传链接队列大小 2000已满，将会阻塞请检查

一边是线程状态处于waiting状态,一边是队列大小处于满负荷状态。

在日志中发现

2019-04-26 09:05:30,691 [ERROR] [pool-6-thread-3] - com.weibo.api.motan.log.DefaultLogService.error(DefaultLogService.java:87) NettyClient request Error: url=motan://218.17.83.11:2196/com.izhonghong.api.TaskQueueApi requestId=1631836680393596585 interface=com.izhonghong.api.TaskQueueApi method=sendArray(java.lang.String,java.lang.String)
com.weibo.api.motan.exception.MotanServiceException: error_message: NettyChannel send request to server Error: url=motan://218.17.xx.xx:xx/com.izhonghong.api.TaskQueueApi local=/192.168.xx.xxx:47617 requestId=1631836680393596585 interface=com.izhonghong.api.TaskQueueApi method=sendArray(java.lang.String,java.lang.String), status: 503, error_code: 10001,r=null
    at com.weibo.api.motan.transport.netty.NettyChannel.request(NettyChannel.java:101)
    at com.weibo.api.motan.transport.netty.NettyClient.request(NettyClient.java:169)
    at com.weibo.api.motan.transport.netty.NettyClient.request(NettyClient.java:116)
    at com.weibo.api.motan.protocol.rpc.DefaultRpcProtocol$DefaultRpcReferer.doCall(DefaultRpcProtocol.java:171)
    at com.weibo.api.motan.rpc.AbstractReferer.call(AbstractReferer.java:64)
    at com.weibo.api.motan.cluster.ha.FailoverHaStrategy.call(FailoverHaStrategy.java:72)
    at com.weibo.api.motan.cluster.support.ClusterSpi.call(ClusterSpi.java:73)
    at com.weibo.api.motan.proxy.RefererInvocationHandler.invoke(RefererInvocationHandler.java:108)
    at com.sun.proxy.$Proxy70.sendArray(Unknown Source)
    at com.izhonghong.handle.SendTasker$1.run(SendTasker.java:121)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.nio.channels.ClosedChannelException
    at org.jboss.netty.channel.socket.nio.NioWorker.cleanUpWriteBuffer(NioWorker.java:643)
    at org.jboss.netty.channel.socket.nio.NioWorker.writeFromUserCode(NioWorker.java:370)
    at org.jboss.netty.channel.socket.nio.NioClientSocketPipelineSink.eventSunk(NioClientSocketPipelineSink.java:117)
    at org.jboss.netty.channel.Channels.write(Channels.java:632)
    at org.jboss.netty.handler.codec.oneone.OneToOneEncoder.handleDownstream(OneToOneEncoder.java:70)
    at org.jboss.netty.channel.Channels.write(Channels.java:611)
    at org.jboss.netty.channel.Channels.write(Channels.java:578)
    at org.jboss.netty.channel.AbstractChannel.write(AbstractChannel.java:251)
    at com.weibo.api.motan.transport.netty.NettyChannel.request(NettyChannel.java:70)
    ... 12 more

猜测出应该是第一次调用motan的时候出现异常，然后在try{}catch{}模块中捕捉到,但是因为在catch中又调用了motan服务，但是没有使用try{}catch{}捕捉，假如这次调用motan服务还是出现异常的话，那么就会抛出异常，整个线程就会停止，线程池回收线程，线程处于等待状态。这就是为什么整个队列是满的，但是线程处于等待的原因。

针对这个问题，我们可以使用Motan自带的retrypolice，并设置为2 或者是在catch中再使用try{}catch{}进行捕捉。

在使用线程池的时候，一定要对异常进行捕捉，不然有可能一些意想不到的异常抛出，导致线程处于等待状态，导致整个程序卡死状态。