BlockingQueue定时或达到一定条数读取队列

谷歌工具类maven:

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>18.0</version>
</dependency>

消费队列线程:

public class LogsConsumer implements Runnable{

    /** 日志 **/
    private static final Logger LOG = LoggerFactory.getLogger(LogsConsumer.class);

    private volatile boolean isRunning = true;

    private BlockingQueue queue;

    public LogsConsumer(BlockingQueue queue) {
        this.queue = queue;
    }

    /**
     * 消费者
     */
    public void run() {
        while (isRunning) {
            try {
                //每次取出的数据存放到logsDatas                List<String> logsDatas = new ArrayList<String>();
                //每次到1000条数据才进行入库,等待1分钟,没达到1000条也继续入库
                Queues.drain(queue, logsDatas, 1000, 1, TimeUnit.MINUTES);
                this.insertLogs(logsDatas);
            }catch (Exception e){
                LOG.error("LogsConsumer drain queues error:",e);
            }

        }
    }

    /**
     *批量添加方法
     * @param logsDatas
     */
    private void insertLogs(List<String> logsDatas) throws Exception {
        if (!CollectionUtils.isEmpty(logsDatas)){
            Client client = ElasticsearchClientUtil.getClient();
            BulkRequestBuilder bulkRequest = client.prepareBulk();
            for (String logsData:logsDatas){
                bulkRequest.add(client.prepareIndex("statistics", "pvanduv").setSource(logsData));
            }
            bulkRequest.get();
        }
    }

}
启动线程:

BlockingQueue queue = BlockingQueueFactory.getQueue();
LogsConsumer consumer1 = new LogsConsumer(queue);
LogsConsumer consumer2 = new LogsConsumer(queue);
ExecutorService service = Executors.newCachedThreadPool();
service.execute(consumer1);
service.execute(consumer2);

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值