Apache的commons-pool池创建多线程使用WebClient

原创 2016年08月28日 14:11:10
package test;

import org.apache.commons.pool.PoolableObjectFactory;
import org.apache.commons.pool.impl.GenericObjectPool;
import org.apache.log4j.Logger;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
//http://blog.csdn.net/m13321169565/article/details/8081410
public class PooledClientFactory{
    private static Logger log = Logger.getLogger(PooledClientFactory.class);
    private final static PooledClientFactory instance =new PooledClientFactory();
    //另外一种方案或许更为合适——对象池化技术。
    //基于Apache的commons-pool池
    private final GenericObjectPool clientPool =new GenericObjectPool();
    public static PooledClientFactory getInstance() {
        return instance;
    }
    
    public PooledClientFactory(){
        
        //实现对象池的对象创建工厂接口
        clientPool.setFactory(new PoolableObjectFactory() {
             // 创建对象实例,用于填充对象池。同时可以分配这个对象适用的资源。  
            @Override
            public Object makeObject() throws Exception  {
                log.info("为线程 [ " + Thread.currentThread().getName()+ 
                        " ] 创建新的WebClient实例!");
                
                 WebClient webClient = new WebClient(BrowserVersion.FIREFOX_17);  
                    
                   //设置webClient的相关参数  
                  webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理
                    webClient.getOptions().setJavaScriptEnabled(true);// 开启js解析
                    webClient.getOptions().setCssEnabled(false);
                    // 当出现Http error时,程序不抛异常继续执行
                    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
                    // 防止js语法错误抛出异常
                    webClient.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时,是否抛出异常
                    webClient.getOptions().setTimeout(10000);
                    // 默认是false, 设置为true的话不让你的浏览行为被记录
                    webClient.getOptions().setDoNotTrackEnabled(false);
                    // 设置Ajax异步处理控制器即启用Ajax支持
                    webClient
                            .setAjaxController(new NicelyResynchronizingAjaxController());
                    return webClient;
            }
            
             // 销毁对象,销毁对象池时被调用,连接池调用invalidateObject(obj)时被调用 
            @Override
            public void destroyObject(Object arg0) throws Exception {
                  log.info("销毁对象:" + arg0);  
                WebClient client = (WebClient) arg0;
                client.closeAllWindows();
                client = null;
            }
            
            //  查询对象有效性,需要对象池设置setTestOnBorrow(true),无效对象将被destroy
            @Override
            public boolean validateObject(Object arg0) {
                 log.info("检查对象有效性:" + arg0);  
                return true;
            }

              // 激活一个对象,从对象池获取对象时被调用  

            @Override
            public void activateObject(Object arg0) throws Exception {
                 log.info("激活对象:" + arg0);  
            }
            
             // 挂起(钝化)一个对象,将对象还给对象池时被调用
            @Override
            public void passivateObject(Object arg0) throws Exception {
                
                 log.info("挂起对象:" + arg0);  
            }

        });
        
        clientPool.setTestOnBorrow(true);
        //借出对象达到最大值的最大等待时间,5s等待时间过后抛出异常
        //clientPool.setMaxWait(5000);
        //设置最大可借出数量,默认为8
        clientPool.setMaxActive(10);
    }

    
    
    
    
    
    
    public WebClient getClient()  {
        try {
            return (WebClient)this.clientPool.borrowObject();
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
        
    }
    
    public void returnClient(WebClient client) {
        try {
            this.clientPool.returnObject(client);
        } catch (Exception e) {
            e.printStackTrace();
        }
        }

    
      //测试对象池
      public static void main(String[] args) {
          try {
              //CursorableLinkedList
            //得到池中空闲的对象数量,如果不可用返回负数
                log.info(PooledClientFactory.getInstance().clientPool.getNumIdle());
                
       //取出对象1
        Object obj1=    PooledClientFactory.getInstance().getClient();
        //取出对象2
        Object obj2=    PooledClientFactory.getInstance().getClient();
        //取出对象3
                Object obj3=    PooledClientFactory.getInstance().getClient();    
            //如果对象借出达到最大数量MaxActive,程序会一直等待有可用的对象(归还的),也可以通过DEFAULT_MAX_WAIT设置等待时间,默认为-1一直等待
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
                PooledClientFactory.getInstance().getClient();    
            //归还对象1
                
            
        PooledClientFactory.getInstance().returnClient((WebClient) obj1);
        
        //得到池中空闲的对象数量
        log.info(PooledClientFactory.getInstance().clientPool.getNumIdle());
         //    返回从池中借出的对象数量
        log.info(PooledClientFactory.getInstance().clientPool.getNumActive());
        
        //最大可借出数量
        log.info(PooledClientFactory.getInstance().clientPool.getMaxActive());
        //最大空闲数量
        log.info(PooledClientFactory.getInstance().clientPool.getMaxIdle());
        //最小空闲数量
        log.info(PooledClientFactory.getInstance().clientPool.getMinIdle());
        
        
        PooledClientFactory.getInstance().clientPool.clear();
        PooledClientFactory.getInstance().clientPool.close();
        
        //使用工厂创建一个对象
        PooledClientFactory.getInstance().clientPool.getMaxActive();
        } catch (Exception e) {
            
            e.printStackTrace();
        }
        
    }
}


本文出自 “点滴积累” 博客,请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1792545

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

apache commons pool之GenericObjectPool分析(通用对象池技术)

在高并发的环境下写程序时通常碰到线程安全的问题,当然,最能想到的就是加锁,再进一步想就是池子了,所谓池子就是,里面可以放置多个同样的对象,每个线程需要用时,就从池中取走,用完时再放回到池中,即可解决线...

利用Apache commons pool2构建池应用

commons pool2与commons pool1还是有很大的差别的,本文主要记录利用commons pool2构建自己的池应用。1 依赖的引入 org.a...

Apache Commons-pool实现对象池(包括带key对象池)

Commons-pool是一个apache开源组织下的众多项目的一个。其被广泛地整合到众多需要对象池功能的项目中。 官网:http://commons.apache.org/proper/common...
  • bhy5683
  • bhy5683
  • 2013年04月09日 16:16
  • 8055

基于apache commons pool实现自动以ftp连接池

由于前段时间公司有批量上传文件的需求,功能实现了,但是发现性能低下,原因在于上传到ftp时需要频繁的链接和断开ftp,造成了很大的网络开销,于是决定自己写一个ftp连接池,用于文件上传,简单的查了下a...

找不到基本对象池:“java.lang.NoClassDefFoundError: org/apache/commons/pool/impl/GenericObjectPool”解决方法

问题: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'Data...

Apache commons-pool对象池原理分析

Apache commons-pool本质上是"对象池",即通过一定的规则来维护对象集合的容器;commos-pool在很多场景中,用来实现"连接池"/"任务worker池"等,大家常用的dbcp数据...

解决htmlunit的webclient对象在多线程环境下的共享问题

HtmlUnit在多线程环境下怎么使用才能避免网页抓取失败的问题。下面浅谈该问题的解决办法。 导致这个问题的原因其实蛮简单,举个例子来说,A线程正在使用一个WebClient对象抓取网页,在整个抓取...
  • andybbc
  • andybbc
  • 2016年01月28日 13:51
  • 1667

多线程设计模式——Thread Pool(线程池)模式

Thread Pool(线程池)
  • buyoufa
  • buyoufa
  • 2016年07月10日 07:51
  • 2601

Apache的对象池化工具commons-pool

  • 2011年05月15日 20:51
  • 252KB
  • 下载

Apache Commons pool 简介和pool连接池代码

在实际中工作,我们经常遇到需要连接池的地方,特别是数据库连接池。 我们为什么需要池呢?因为这些资源的创建,都很消耗资源。因此,我们使用一个对象池,里面预先创建了一些资源对象。当我们需要时,从池中取出...
  • ffm83
  • ffm83
  • 2014年12月20日 16:40
  • 1937
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Apache的commons-pool池创建多线程使用WebClient
举报原因:
原因补充:

(最多只允许输入30个字)