Kafka
TomAndersen
新目标:喜欢上读书
展开
-
Flume之使用Kafka_Channel生产数据至Kafka_Topic
前言操作系统:CentOS 7Java版本:1.8.0_221Flume版本:1.8.01. Kafka Channel使用场景配合Flume Source、Flume Sink使用,为Event的传输提供一种具有高可用的Channel配合Flume Source和拦截器interceptor使用,无Sink,用于将Flume搜集的Event传输到Kafka集群指定Topic中...原创 2020-04-25 18:29:57 · 1524 阅读 · 1 评论 -
Flume之使用Kafka_Channel消费数据至HDFS
前言操作系统:CentOS 7Java版本:1.8.0_221Flume版本:1.8.01. Kafka Channel使用场景配合Flume Source、Flume Sink使用,为Event的传输提供一种具有高可用的Channel配合Flume Source和拦截器interceptor使用,无Sink,用于将Flume搜集的Event传输到Kafka集群指定Topic中...原创 2020-04-25 18:28:54 · 922 阅读 · 0 评论 -
Kafka之Kafka Streams使用练习
前言kafka版本:2.11-2.1.1主要练习的功能是:在某个生产者向first主题中生产消息时,同时通过KafkaStreams将生产消息作特定处理后输出到主题second中Maven依赖<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><!-- Kafka客户端A...原创 2020-03-23 12:01:14 · 360 阅读 · 0 评论 -
Kafka之获取指定Topic-Partition的Leader
前言kafka版本:2.11-2.1.1基于Kafka Java API主要是通过封装Consumer.partitionsFor方法实现此功能代码/** * <p> * 用于寻找指定Brokers-Topic-Partition对应的Leader. * 主要是封装了{@link KafkaConsumer#partitionsFor}方法...原创 2020-03-21 17:35:53 · 1660 阅读 · 0 评论 -
Kafka之获取指定Topic-Partition的lastOffset
前言kafka版本:2.11-2.1.1基于Kafka Java API主要是通过封装Conusmer.endOffsets方法实现此功能代码/** * <p>根据指定的Topic-Partition获取对应的endOffset. * 主要是封装了KafkaConsumer的{@link KafkaConsumer#endOffsets}方法. ...原创 2020-03-21 17:35:12 · 2165 阅读 · 0 评论 -
Kafka之读取指定Topic-Partition-Offset之后的消息
前言kafka版本:2.11-2.1.1基于Kafka Java API主要是通过封装Conusmer.assign和Consumer.seek方法实现此功能。前者的作用是将指定Topic-Partition分配给对应的Consumer,后者的作用是将Consumer在指定的Topic-Partition中的Offset置于指定位置代码/** * <p>主要用...原创 2020-03-21 17:34:50 · 1253 阅读 · 0 评论 -
Kafka之入门级安装部署
1. 下载Kafka安装包Apache所有项目历史版本镜像地址Apache Kafka下载地址2. 解压到指定路径下本次安装的Kafka为2.1.1版本,注意:压缩包前面的版本号为Scala版本号,而后面的才是Kafka版本号tar -xzvf kafka_2.11-2.1.1.tgz -C /opt/module/3. 配置环境变量通过修改/etc/profile文件设置K...原创 2020-03-15 08:01:13 · 236 阅读 · 0 评论 -
Kafka之命令行的基本操作
kafka版本:2.11-2.1.1原创 2020-03-15 08:00:04 · 809 阅读 · 0 评论