kafka学习笔记-客户端操作
kafka其实没有所谓单节点这一说,即使是一个节点也是一个节点的集群,所以kafka默认就是一个集群的形式。
kafka客户端API类型
- AdminClient API:允许管理和检测Topic、broker以及其他kafka对象。类似服务器上命令行对topic等操作。
- Producer API:发布消息到1个或多个Topic
- Consumer API:订阅一个或多个Topic,并处理产生的消息,相对比较复杂的API
- Streams API:高效地将输入流转换到输出流
- Connector API:从一些源系统或应用程序中拉取数据到kafka
Admin API
我们先新建一个SpringBoot项目,并引入web及kafka的依赖,kafka的依赖可以在maven repository或者kafka官网中获取
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.4.0</version>
</dependency>
常见Admin API
API | 作用 |
---|---|
AdminClient | AdminClient客户端对象 |
NewTopic | 创建Topic |
CreateTopicsResult | 创建Topic的返回结果 |
ListTopicsResult | 查询Topic列表 |
ListTopicsOptions | 查询Topoic列表及选项 |
DescribeTopicsResult | 查询Topics |
DescribeConfigsResult | 查询Topics配置项 |
- AdminClient:
public class AdminSample {
public static void main(String[] args) {
AdminClient adminClient = getAdminClient();
System.out.println("adminClient: " + adminClient);
}
private static AdminClient getAdminClient() {
// 启动AdminClient时需要的配置信息
Properties properties = new Properties();
// 具体需要配置什么我们可以点进AdminClientConfig中查看,目前只为了启动可以只配置bootstrap_server
// 可以新建一个类专门用于存放kafka的配置信息,也可直接写入
properties.setProperty(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, KafkaConfig.BOOTSTRAP_SERVER);
// properties.setProperty(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, xxx.xxx.xxx.xxx:9092);
// 最后返回.create(Properties properties),将写好的配置放进去即可
return AdminClient.create(properties);
}
}
- NewTopic:
/**
* 创建Topic实例
*/
private static void createNewTopic() throws Exception {
// 先获取到我们的adminClient
AdminClient adminClient = getAdminClient();
// 实例化我们所需要创建的topic,点进源码我们可看到该构造函数需要传入三个值:
// name:待创建的topic的名称
// numPartitions:新topic的分区数
// replicationFactor:副本因子
NewTopic newTopic = new NewTopic(KafkaConfig.TOPIC_NAME, KafkaConfig.NUM_PARTITIONS, KafkaConfig.REPLICATION_FACTOR);
// 调用adminClient的createTopics方法,传入待创建的topic的集合即可
// 为此操作设置请求超时(以毫秒为单位),如果应使用AdminClient的默认请求超时,则设置为null
CreateTopicsResult topics = adminClient.createTopics(Arrays.asList(newTopic), new CreateTopicsOptions().timeoutMs(10000));
// all():如果所有topic都创建成功,则返回一个成功的future。 get():如有必要,等待此future完成,然后返回其结果
topics.all().get();
System.out.println("新的topic已创建成功");
}
点进源码我们能看到,NewTopic的构造函数中,有这么几个参数:
public NewTopic(String name, int numPartitions, short replicationFactor) {
this(name, Optional.of(numPartitions), Optional.of(replicationFactor));
}
在官网上也有对于这几个参数的文档说明,是这么描述的:
/*
name: The name of the topic to be created
待创建的topic的名称
numPartitions: The number of partitions for the new topic or -1 if a replica assignment has been specified
新主题的分区数,如果指定了副本分配,则为 -1
replicationFactor: The replication factor for the new topic or -1 if a replica assignment has been specified
新主题的复制因子,如果已指定副本分配,则为 -1
*/
- ListTopicsResult
/**
* 打印topic的信息列表
* @throws Exception
*/
private static void showTopicsList() throws Exception {
AdminClient adminClient = getAdminClient();
// listInternal:是否为内部topic,默认为false
ListTopicsOptions listTopicsOptions = new ListTopicsOptions();
listTopicsOptions.listInternal(true);
// ListTopicsResult listTopicsResult = adminClient.listTopics(listTopicsOptions);
// 无参的listTopics查看的是listInternal = false的topic
ListTopicsResult listTopicsResult = adminClient.listTopics();
// 获取listTopic的name及listInternal信息
Collection<TopicListing> topicListings = listTopicsResult.listings().get();
// 打印该信息列表
topicListings.stream().forEach((topicList -> {
System.out.println(topicList);
}));
// 获取topic的名字列表
// Set<String> topicNames = listTopicsResult.names().get();
// topicNames.stream().forEach(System.out::println);
}
- deleteTopics
/**
* 删除topic
* @throws Exception
*/
public static void delTopic() throws Exception {
AdminClient adminClient = getAdminClient();
// 该结果也是返回一个Future
DeleteTopicsResult delRes = adminClient.deleteTopics(Arrays.asList(KafkaConfig.TOPIC_NAME));
delRes.all().get();
}
- DescribeTopicsResult
/**
* 描述topic
* @throws Exception
*/
public static void desTopic() throws Exception {
AdminClient adminClient = getAdminClient();
// 调用describeTopics方法,将我们要查看的topic名称列表放入即可
DescribeTopicsResult desRes = adminClient.describeTopics(Arrays.asList(KafkaConfig.TOPIC_NAME));
// 获取回的返回值为 topic名-topic描述 的键值对
Map<String, TopicDescription> descriptionMap = desRes.all().get();
// TopicDescription topicDescription = descriptionMap.get(KafkaConfig.TOPIC_NAME);
Set<Map.Entry<String, TopicDescription>> entries = descriptionMap.entrySet();
entries.stream().forEach(entry -> {
System.out.println("topic名:" + entry.getKey() + ",topic描述:" + entry.getValue());
});
}
在返回的TopicDescription中,有四个参数:
name String : topic名称
internal boolean : 是否为内部topic
partitions List<TopicPartitionInfo> : 一个分区列表,其中索引表示分区id,元素包含该分区的leader和副本信息。
authorizedOperations Set<AclOperation> : 此topic的授权操作,如果未知,则为null
- DescribConfigsResult
/**
* 描述配置
* @throws Exception
*/
public static void descConfig() throws Exception {
AdminClient adminClient = getAdminClient();
// 表示具有配置的资源的类 (资源类的类型, 资源名称)
ConfigResource configResource = new ConfigResource(ConfigResource.Type.TOPIC, KafkaConfig.TOPIC_NAME);
DescribeConfigsResult describeConfigs = adminClient.describeConfigs(Arrays.asList(configResource));
Map<ConfigResource, Config> configMap = describeConfigs.all().get();
configMap.entrySet().stream().forEach((entry) -> {
System.out.println(entry.getKey() + ":" + entry.getValue());
});
}
- alterConfigs
/**
* 修改配置
* @throws Exception
*/
public static void altConfig() throws Exception {
AdminClient adminClient = getAdminClient();
// 方式一:比较老的方式,通过传Map修改,键:ConfigResource,值:Config
ConfigResource configResource = new ConfigResource(ConfigResource.Type.TOPIC, KafkaConfig.TOPIC_NAME);
// // ConfigEntry中即为要修改的配置名及值
// Config config = new Config(Arrays.asList(new ConfigEntry("preallocate", "true")));
// Map<ConfigResource, Config> mapForAlt = new HashMap<>();
// mapForAlt.put(configResource, config);
// // 将该map放入即可
// AlterConfigsResult alterConfigsResult = adminClient.alterConfigs(mapForAlt);
// alterConfigsResult.all().get();
// 方式二:用kafka推荐的方式
Map<ConfigResource, Collection<AlterConfigOp>> mapForAlt = new HashMap<>();
// 其实都差不多,只是需要再添加一个操作的类型,要修改就选SET即可
AlterConfigOp alterConfigOp = new AlterConfigOp(new ConfigEntry("preallocate", "false"), AlterConfigOp.OpType.SET);
mapForAlt.put(configResource, Arrays.asList(alterConfigOp));
AlterConfigsResult alterConfigsResult = adminClient.incrementalAlterConfigs(mapForAlt);
alterConfigsResult.all().get();
}