TBase数据同步Kafka

作者：XuYuchong

1，环境变量配置

 /etc/profile

export  JAVA_HOME=/opt/jdk1.8.0_40
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/opt/hadoop-3.3.0
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/opt/hadoop-3.3.0/bin/:/opt/hadoop-3.3.0/sbin

2，软件安装直接解压即可

[root@db01 kafka_2.11-2.4.0]# pwd
/opt/kafka_2.11-2.4.0
[root@db01 kafka_2.11-2.4.0]# ls
bin  config  libs  LICENSE  logs  NOTICE  site-docs

3，创建目录和修改配置文件

[root@db01 config]# cd /opt/kafka_2.11-2.4.0/config/
#############
建立2个文件夹，修改3个文件
#############
mkdir -p  /data/tbase/kafka/zookeeper
mkdir -p  /data/tbase/kafka/kafka-logs


cd  /usr/local/kafka_2.11-2.4.0/config
#zookeeper.properties
dataDir=/data/tbase/kafka/zookeeper

#server.properties
listeners=PLAINTEXT://192.168.5.200:9092
log.dirs=/data/tbase/kafka/kafka-logs

#connect-distributed.properties
bootstrap.servers=192.168.5.200:9092

4，启动服务

zookeeper-server-start.sh -daemon /opt/kafka_2.11-2.4.0/config/zookeeper.properties
lsof -i:2181
kafka-server-start.sh -daemon /opt/kafka_2.11-2.4.0/config/server.properties
lsof -i:9092
connect-distributed.sh -daemon /opt/kafka_2.11-2.4.0/config/connect-distributed.properties
lsof -i:8083

5，TBASE接入kafaka

输入相关地址信息：

开启同步开关

查看同步详情：

6，测试

6.1创建测试表

create table t1 (id int primary key,name varchar(20)) distribute by shard (id);
insert into t1 values(100,'张三' ),(200,'李四' ),(300,'王五' );6.2

6.2查询生成的topic

//可能稍等一会儿才会有数据

[root@db01 run]# kafka-topics.sh --list --zookeeper 192.168.5.200:2181
test_1.postgres.public.t1
test_1.postgres.public.t2

6.3消费t1表

//实例名字：数据库名：模式名：表名
kafka-console-consumer.sh --bootstrap-server 192.168.5.200:9092 --topic  test_1.postgres.public.t1  --from-beginning

6.4 进行TBase端的数据插入时，数据会被实时的消费出来。

insert into t1 values(400,'张飞');
insert into t1 values(500,'刘备');
insert into t1 values(600,'关羽');

*禁止转载，可转发（转发文章请注明出处）

TBase数据同步Kafka