GBase 8a 中kafka相关操作介绍（1）

GBase 8a MPP Cluster 是大数据时代成熟的分析型MPP数据库。最新 GBase 8a MPP Cluster V9版本的虚拟集群适用于系统的规划建设多套集群，可以实现各个集群业务的独立规划和统一管理，虚拟集群包括数据管理集群、用户管理集群和集群版本管理集群，各个逻辑子集群间可实现透明的数据迁移、数据关联和数据共享。

以下为GBase8a中关于kafka的部分操作介绍

–查看consumer创建信息

select * from gclusterdb.kafka_consumers;

–查看consumer消费状态

select * from information_schema.kafka_consumer_status
select * from information_schema.kafka_consumer_status where exception<>'';

–查询topic的积压量

select consumer,max_offset,commit_offset,max_offset-commit_offset as offset_diff,exception from information_schema.kafka_consumer_status where max_offset<>9223372036854775807 order by offset_diff;

–查询单个consumer消费的进度

select * from gclusterdb.kafka_consumer_offset_surf_wea_chn_mul_min_tab where commit_time is not null order by commit_time desc limit 10;

–创建/删除consumer

create kafka consumer consumer_name transaction topic topic_name brokers ’172.16.3.58:9092,172.16.3.59:9092,172.16.3.60:9092’;
drop consumer consumer_name;
start/stop kafka consumer consumer_name;
start/stop kafka transaction consumer;

–启停kafka-server

nohup ./kafka-server-start.sh ../config/server.properties &>>/opt/kafka/kafka_2.11-
2.1.1/kafka.log &

–查询kafka下全部topic

./kafka-topics.sh --list --zookeeper 172.16.3.58:2181

–创建topic

./kafka-topics.sh --create --zookeeper 172.16.3.58:2181 --topic test002 -partitions 1 --replication-factor（副本数量） 1
./kafka-topics.sh --delete --zookeeper 172.16.3.58:2181 --topic test002               
## --该操作提示只打标记并不删除，要直接删除需要在server.properties中设置delete.topic.enable参数为ture

./kafka-topics.sh --describe --zookeeper 172.16.3.58:2181 --topic test001

## --查看topic信息

Topic:test003 PartitionCount:3 ReplicationFactor:1 Configs:
Topic: test003 Partition: 0 Leader: 2 Replicas: 2 Isr: 2
Topic: test003 Partition: 1 Leader: 3 Replicas: 3 Isr: 3
Topic: test003 Partition: 2 Leader: 1 Replicas: 1 Isr: 1
–leader 是在给出的所有partitons中负责读写的节点，每个节点都有可能成为leader
–replicas 显示给定partiton所有副本所存储节点的节点列表，不管该节点是否是leader或者是否存活。
–isr 副本都已同步的的节点集合，这个集合中的所有节点都是存活状态，并且跟leader同步

–控制台测试消息生产

./kafka-console-producer.sh --topic test001 --broker-list 172.16.3.58:9092

–控制台测试消息接收

kafka-console-consumer.sh --topic test001 --bootstrap-server 172.16.3.58:9092 --from-beginning

```查询kafka临时表

select * from gclusterdb.kafka_consumer_offset_consumer名称 order by offset desc limit 50;

## 更新临时表中的偏移量 使其+1

update gclusterdb.kafka_consumer_offset_consumer名称 set offset = 报错偏移量+1 where offset =报错偏移量 ;

## 启动kafka消费

start kafka consumer （consumer名称）

## 查看topic最大最小offset

$kafka_home/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ip:9092 --topic <topic_name> --time -2/-1

## 查看消费组的消费情况

/space/cmadaas/sod/kafka_2.11-2.1.0/bin/kafka-consumer-groups.sh --bootstrap-server 10.40.17.64:9092 --describe --group HADB_BAK