华为云kafka全景实践

华为云kafka全景实践

登录ECS控制台

登录ECS控制台，找到已购买的云服务器并登录
点击远程登录，（用户名：root）
输入密码（密码不显示，但可正常输入），即可登录ECS

下载Kafka，并上传至ECS

执行命令下载Kafka：
wget https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz
解压：
tar zxvf kafka_2.12-1.1.0.tgz

root@ecs-kc1-large-2-linux-20200906181836:~# wget https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz
--2020-09-15 10:18:47--  https://repo.huaweicloud.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz
Resolving repo.huaweicloud.com (repo.huaweicloud.com)... 61.147.106.222, 59.56.28.88, 125.77.150.15, ...
Connecting to repo.huaweicloud.com (repo.huaweicloud.com)|61.147.106.222|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 50326212 (48M) [application/octet-stream]
Saving to: ‘kafka_2.12-1.1.0.tgz’

kafka_2.12-1.1.0.tgz                            100%[====================================================================================================>]  47.99M  2.80MB/s    in 17s     

2020-09-15 10:19:04 (2.81 MB/s) - ‘kafka_2.12-1.1.0.tgz’ saved [50326212/50326212]

root@ecs-kc1-large-2-linux-20200906181836:~# tar zxvf kafka_2.12-1.1.0.tgz
kafka_2.12-1.1.0/
...
kafka_2.12-1.1.0/libs/kafka-streams-examples-1.1.0.jar
root@ecs-kc1-large-2-linux-20200906181836:~#

在Kafka实例详情页，获取Kafka broker地址

创建topic

登录ECS执行生产脚本

脚本目录是：/pathtokafka/kafka_2.12-1.1.0/bin/kafka-console-producer.sh
执行命令：
bin/kafka-console-producer.sh --broker-list 192.168.0.186:9092 --topic topic-1628361972

root@ecs-kc1-large-2-linux-20200906181836:~# ll
total 49196
drwx------  7 root root     4096 Sep 15 10:22 ./
drwxr-xr-x 25 root root     4096 Sep 15 10:15 ../
-rw-------  1 root root        0 Dec  2  2019 .bash_history
-rw-r--r--  1 root root     3106 Apr  9  2018 .bashrc
drwx------  2 root root     4096 Nov 26  2019 .cache/
drwx------  3 root root     4096 Nov 26  2019 .gnupg/
drwxr-xr-x  6 root root     4096 Mar 24  2018 kafka_2.12-1.1.0/
-rw-r--r--  1 root root 50326212 Mar 28  2018 kafka_2.12-1.1.0.tgz
drwxr-xr-x  2 root root     4096 Dec  2  2019 .oracle_jre_usage/
-rw-r--r--  1 root root      148 Aug 17  2015 .profile
drwx------  2 root root     4096 Sep 15 10:15 .ssh/
-rw-------  1 root root     4864 Dec  2  2019 .viminfo
-rw-------  1 root root       82 Sep 15 10:16 .Xauthority
root@ecs-kc1-large-2-linux-20200906181836:~# cd kafka_2.12-1.1.0/
root@ecs-kc1-large-2-linux-20200906181836:~/kafka_2.12-1.1.0# bin/kafka-console-producer.sh --broker-list 192.168.0.186:9092 --topic topic-1628361972
>
>hengji
>2020.9.15
>10.37
>shanghai ^H^H
>exit
>

–broker-list：kafka broker地址，多个已逗号隔开
–topic：指定生产消息的topic（在3中创建
输入任意字符后回车，即生产消息

登录ECS执行消费脚本

脚本目录是：/pathtokafka/kafka_2.12-1.1.0/bin/kafka-console-consumer.sh
执行命令： bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.186:9092 --topic topic-1628361972 --group test --consumer-property enable.auto.commit=true --from-beginning

root@ecs-kc1-large-2-linux-20200906181836:~/kafka_2.12-1.1.0# bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.186:9092 --topic topic-1628361972 --group test --consumer-property enable.auto.commit=true --from-beginning 
hengji
shanghai 
2020.9.15
exit

10.37

–bootstrap-server：kafka broker地址，多个已逗号隔开
–consumer-property enable.auto.commit=true，设置消费自动提交消费进度
–topic：指定消费消息的topic（在3中创建）
–group：指定消费组名称，可自定义
在生产窗口输入消息，在消费窗口会显示消息

生产代码demo

为了方便操作，包已经打包好了：
地址：链接: https://download.csdn.net/download/weixin_43572042/12845314.
百度网盘： https://crazyhengji.blog.csdn.net/article/details/108636026.
链接失效@我或者私信

package dms.kafka.demo;
import java.util.Properties;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.Future;

import org.apache.kafka.clients.producer.KafkaProducer