![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache Kafka
文章平均质量分 66
对应Apache基金会的Kafka的学习
编程写手
路漫漫其修远兮,吾将上下而求索!
展开
-
Apache Kafka:开启单机版的RestApi
当前版本:kafka_2.12-2.8.0、CentOS71. 声明当前内容主要为本人学习和测试开启Kafka的RestApi的方式,当前内容参考官方文档2. 基本操作1.首先启动zookeeper,然后启动kafka2.开始配置当前的连接器vi config/connect-standalone.properties主要修改3.选择连接器这里选择的是:connect-console-sink.properties4.启动连接器(默认启动在8083端口)./bin/connect原创 2021-08-21 15:08:39 · 363 阅读 · 0 评论 -
Apache Kafka:集群的搭建和测试
当前版本:kafka_2.12-2.8.0、CentOS71. 声明当前内容主要为学习和使用Kafka搭建集群,当前内容借鉴官方文档官方文档描述如下:要想搭建集群,就必须配置相同的zookeeper地址,并且每个kafka的broker.id必须不相同,如果相同那么只能启动最开始的那个,另外一个启动失败!2. 搭建集群主机ip作用主机1192.168.1.101公用的zookeeper主机2192.168.1.102Kafka1主机3192.168.1.原创 2021-08-15 13:52:20 · 183 阅读 · 0 评论 -
Apache Kafka:使用java方式操作消费组和重置分区偏移量(admin api)
当前版本:kafka_2.12-2.8.01. 声明当前内容主要为本人学习和测试使用java方式操作消费组和重置分区偏移量,主要参考:Apache Kafka官方文档主要为:使用java方式实现增删查消费组使用admin api方式重置分区偏移量2. 准备条件使用命令行方式创建一个带分区的复制系数的topic:test./bin/kafka-topics.sh --create --topic test --replication-factor 1 --partitions 1 --原创 2021-08-14 15:28:52 · 2089 阅读 · 1 评论 -
Apache Kafka:使用java方式操作stream(实现官方的wordcount)
当前版本:kafka_2.12-2.8.01. 声明当前内容主要为使用kafka的stream实现官方的wordcount操作,并将结果输出到控制台,当前内容主要参考:官方文档2. 基本代码package com.hy.apache.kafka.start.api.streams;import java.util.Arrays;import java.util.Properties;import org.apache.kafka.common.serialization.Serdes;i原创 2021-08-08 17:06:02 · 515 阅读 · 0 评论 -
Apache Kafka:使用java和命令行方式操作topic(admin api)
当前版本:kafka_2.12-2.8.01. 声明当前内容主要为本人学习kafka的topic的增删改查操作,当前内容参考官方文档其中--bootstrap-server表示当前的kafka的地址和端口--topic指定的就是主题名称--create,--delete,--alter,--list/--describe表示各种操作2. 使用命令行的操作首先启动zookeeper,然后启动当前的kafka(当前kafka启动在192.168.1.105:9092)1.创建topic./原创 2021-08-08 16:57:52 · 386 阅读 · 0 评论 -
Apache Flink:使用Apache Kafka作为Sink的简单demo(数据结果存放地方)
1. 声明当前内容主要为测试和使用Flink,将数据读取处理后放入到kafka的topic中主要内容:使用Flink读取文本内容过滤读取的内容将读取的内容放入kafka中2.基本demo1.pom依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.13.0</flink.versi原创 2021-05-23 14:43:55 · 694 阅读 · 0 评论 -
Apache Flink:使用Apache Kafka作为DataSource的简单demo
1. 声明当前内容主要为测试和使用Apache Kafka作为Flink的DataSource的最基本的demo当前内容主要参考:Flink官方文档,Kafka官方文档其中使用kafka发送消息的参考:博文当前内容为使用Apache Flink接收Kafka的topic中的消息作为DataSource简单的print当前接收的消息2. 基本pom依赖核心为:flink-connector-kafka_2.12<properties> <project.build.原创 2021-05-23 12:52:51 · 331 阅读 · 0 评论 -
Apache Kafka:简单的命令行操作topic实现消息发送和接收
当前开发环境:CentOS7,kafka_2.12-2.8.0.tgz1.声明当前内容主要为学习和测试使用Apache Kafka的基本demo,当前内容主要来源:Apache Kafka官方demo主要为:启动kafka使用命令行方式创建topic向当前创建的topic中发布和订阅消息2.基本demo当前的kafka中需要先启动zookeeper,否则直接启动当前的kafka会出现不断的错误启动成功后就可以执行创建topic的命令了1.创建topic(名称为test-events的原创 2021-05-23 12:41:11 · 6492 阅读 · 0 评论 -
Spring Cloud Netflix之Bus-Kafka的简单Demo使用(主要用于测试向Eureka注册Kafka服务和使用)
1.声明当前的内容用于本人学习和简单的使用kafka,内容主要包括,SpringCloudBus整合Kafka,向Eureka中注册Kafka服务,使用Kafka发送数据信息关于当前的SpringCloudBus的简单理解一个消息服务总线,就是将所有的消息都使用SpringCloudBus进行整合,使用这一个就可以了2.pom依赖<parent> <groupId&...原创 2020-05-05 11:48:55 · 870 阅读 · 0 评论 -
SpringBoot中使用Apache Kafka这个消息队列(简单的springboot官网的demo)
当前使用的是:springboot-kafka中的demo1.条件1.需要在当前的虚拟机中开启Apache Kafka,由于本人使用的是Apache Kafka2.11-2.30的版本,使用的zookeeper,详细查看我的博客!2.pom依赖<parent> <groupId>org.springframework.boot</groupId> &...原创 2019-10-30 18:20:31 · 199 阅读 · 0 评论 -
Apache Kafka:使用java连接并完成消息的发送和处理
当前环境:jdk1.8、eclipse、kafka_2.11-2.3.01.导入依赖<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> </dependen...原创 2019-10-09 16:08:03 · 620 阅读 · 0 评论 -
记录:CentOS7中安装kafka并开放端口让外界访问
当前环境:CentOS7、kafka_2.11-2.3.01.解压文件tar -xzf kafka_2.12-2.3.0.tgzcd kafka_2.11-2.3.02.创建log文件夹mkdir log3.编写当前的server.properties文件cd /configvi server.properties1.设置日志文件夹2.设置被访问的路径如果出现不能...原创 2019-10-09 15:49:57 · 2796 阅读 · 2 评论