Kafka推送数据方法

最新推荐文章于 2024-08-27 10:10:04 发布

谢月

最新推荐文章于 2024-08-27 10:10:04 发布

阅读量3.6k

点赞数

本文链接：https://blog.csdn.net/weixin_44593504/article/details/106172211

版权

本文深入探讨了Apache Kafka如何实现高效的数据推送，包括Producer的角色、消息发布与订阅流程、Offset管理和消费者组概念。通过实例解析，展示了在实际应用中如何利用Kafka进行大规模数据实时传输。

摘要由CSDN通过智能技术生成

/**
 * sendServerDataDTO待发送的数据类；
 */
public SendServerReturnMsgDTO sendData(SendServerDataDTO sendServerDataDTO) {
        String data = FastJsonUtils.obj2JsonStr(sendServerDataDTO);

        SendServerReturnMsgDTO sendServerReturnMsgDTO = new SendServerReturnMsgDTO();

        try {
            URL url = new URL(sendServerDataDTO.getUrl());
            log.debug("kafkaUrl:{},topic:{}",url,sendServerDataDTO.getTopic());
            // 将url 以 open方法返回的urlConnection  连接强转为HttpURLConnection连接  (标识一个url所引用的远程对象连接)
            // 此时cnnection只是为一个连接对象,待连接中
            HttpURLConnection connection = (HttpURLConnection) url.openConnection();
            // 设置连接输出流为true,默认false (post 请求是以流的方式隐式的传递参数)
            // 设置通用的请求属性
            // 设置建立连接的超时时间
            connection.setConnectTimeout(30000);
            // 设置传递数据的超时时间
            connection.setReadTimeout(30000);
            connection.setRequestProperty("accept", &