kafka推送消息(Producer)

// 存储MAP
    public static Map<String, IsliCodeLog> logMap = Collections
            .synchronizedMap(new HashMap<String, IsliCodeLog>());
// 主题
    public static String myTopic = SystemConfig.getString("kafka_log_topic");
    // 服务编码
    public static String scCode = SystemConfig.getString("code");


/**
     * 1.日志直接推送给kafka服务器;2.若kafka宕机,则日志保存到数据库里
     * 
     * @param log
     *            日志实体
     */
    public void pushLogToKafka() {


        if (logLock.tryLock()) {
            Producer<String, String> producer = null;
            try {
                if (logMap.size() > 0) {

                    producer = new KafkaUtil().getProducer();
                    // 使用Iterator遍历Map
                    for (Map.Entry<String, IsliCodeLog> entry : logMap
                            .entrySet()) {
                        if (null == entry) {
                            break;
                        }


                        LOGGER.info(" logMap.size=======>>>>>" + logMap.size());
                        IsliCodeLog log = entry.getValue();
                        if (null != log) {
                            log.setServiceCode(scCode);// 服务编码
                            ProducerRecord<String, String> record = new ProducerRecord<String, String>(
                                    myTopic, log.getIsliCode(),
                                    JsonUtils.toJson(log));


                            /**
                             * 发布消息(异步)
                             * 
                             * 1.kafka服务器正常,日志直接发送给kafka
                             * 
                             * 2.存在的问题是:kafka宕机,send()不抛异常,这种情况则日志插入到数据库
                             * 
                             */
                            producer.send(record,
                                    new PushLogToKafkaCallback(entry));
                        }
                    }
                }


            } catch (Exception e) {
                LOGGER.error("[ParseIsliCodeService.pushLogToKafka] error:"
                        + e.getMessage());
            } finally {


                if (null != producer) {
                    producer.close();
                }


                logLock.unlock();


            }
        }


    }




/**
     * 日志消息推送给kafka回调函数类
     * 
     * @author wuJH
     *
     */
    class PushLogToKafkaCallback implements Callback {


        private Map.Entry<String, IsliCodeLog> entry;


        PushLogToKafkaCallback(Map.Entry<String, IsliCodeLog> entry) {
            this.entry = entry;
        }


        @Override
        public void onCompletion(RecordMetadata metadata, Exception e) {
            try {
                if (null != e) {
                    parseIsliCodeLogDAO.insertIsliCodeLog(entry.getValue());
                    LOGGER.error("PushLogToKafkaCallback[onCompletion] error:"
                            + e.getMessage());
                }
            } catch (Exception ex) {
                LOGGER.error("PushLogToKafkaCallback[onCompletion] catch_error:"
                        + ex.getMessage());
            } finally {
                String key = entry.getKey();
                if (logMap.containsKey(key)) {
                    logMap.remove(entry.getKey());// 删除MAP
                }
            }
        }


    }
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值