kafka
睡醒的土豆
这个作者很懒,什么都没留下…
展开
-
Druid数据摄取
数据摄取 Druid数据摄取分类 批量(离线)数据摄取 摄取本地文件 摄取HDFS文件 流式(实时)数据摄取 Kafka索引服务方式摄取 摄取配置文件结构说明 主体结构 数据解析模式 数据源配置 优化配置 了解Druid WebUI生成 spec Druid数据摄取分类 Druid支持流式和批量两种方式的数据摄入,针对不同类型的数据,Druid将外部数据源分为两种形式: 流式数据源 指的是持续不断地生产数据的数据源。例如:消息队列、日志、文件等 静态数据源 指的是数据已经生产完毕,不会有新数据产生的数据源。原创 2021-01-22 21:21:40 · 292 阅读 · 0 评论 -
Kafka使用详解-Consumer API(手动提交offset)-手动维护offset(事务维护)
手动维护offset 需要依赖 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-tx</artifactId> <version>5.0.8.RELEASE</version> </dependency> 通过事务的方式维护原创 2021-01-08 12:21:55 · 441 阅读 · 0 评论 -
Kafka使用详解-Consumer API(手动提交offset)-异步提交offset(offset自动维护)
同步提交offset 同步提交offset,可以重试 package com.ln.kafka.custom; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.cli原创 2021-01-08 12:20:09 · 603 阅读 · 0 评论 -
Kafka使用详解-Consumer API(手动提交offset)-同步提交offset
同步提交offset 同步提交offset,可以重试 package com.ln.kafka.custom; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.cli原创 2021-01-08 12:18:34 · 565 阅读 · 0 评论 -
Kafka使用详解-Consumer API(自动提交offset)
自动提交offset 每次按照offset设置的时间提交offset 自动提交offset的相关参数: kafka自动提交是为了方便我们更加关注业务。 **enable.auto.commit:**是否开启自动提交offset功能。 auto.commit.interval.ms:自动提交offset的时间间 隔。 以下为自动提交的offset代码: offset设置成latest,offset由异步的方式提交offset,每次从最新的方式offset消费 package com.ln.kafka.原创 2021-01-08 12:15:53 · 717 阅读 · 0 评论 -
Kafka使用详解-Producer API(同步发送数据)
同步发送 意思:一条消息发送后,会阻塞当前线程,直至返回ack。send返回的结果时future对象 package com.ln.kafka.producer; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; imp原创 2021-01-08 12:12:52 · 597 阅读 · 0 评论