centos7 Kafka部署（单机版）

最新推荐文章于 2024-08-23 09:39:17 发布
最新推荐文章于 2024-08-23 09:39:17 发布
阅读量1.5k 收藏 9
点赞数 2
分类专栏： K8S Devops 文章标签： MQ Kafka zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oToyix/article/details/118672037
版权
K8S 同时被 2 个专栏收录
29 篇文章 3 订阅
订阅专栏
Devops
23 篇文章 0 订阅
订阅专栏

centos7 Kafka部署（单机版）

一、概念：

Kafka主要应用场景是：日志收集系统和消息系统。
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统）。
采用zookeeper对集群中的broker和comsumer进行管理；可以注册topic到zookeeper上，通过zookeeper的协调机制，producer保存对应的topic的broker信息，可以随机或者轮询发送到broker上，produce可以基于语义指定分片，消息发送到broker的某个分片上。

Kafka主要设计目标如下：

1、以时间复杂度方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。
2、高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。
3、支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。
4、同时支持离线数据处理和实时数据处理。
5、Scale out:支持在线水平扩展。

MQ消息队列简介：

MQ消息队列中间件（Message Queue）是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。
主流消息队列包括：RabbitMQ、ActiveMQ、RocketMQ、ZeroMQ、Kafka、IBM WebSphere等。

Kafka队列优点：

1、解耦

在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。

2、冗余（副本）

有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。

3、扩展性

因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。

4、灵活性&峰值处理能力

在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见；如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

5、可恢复性

系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。

6、顺序保证

在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。Kafka保证一个Partition内的消息的有序性。

7、缓冲

在任何重要的系统中，都会有需要不同的处理时间的元素。例如，加载一张图片比应用过滤器花费更少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行———写入队列的处理会尽可能的快速。该缓冲有助于控制和优化数据流经过系统的速度。

8、异步通信

很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

两种主要的消息传递模式：

1、点对点传递模式：

在点对点消息系统中，消息持久化到一个队列中。此时，将有一个或多个消费者消费队列中的数据。但是一条消息只能被消费一次。当一个消费者消费了队列中的某条数据之后，该条数据则从消息队列中删除。该模式即使有多个消费者同时消费数据，也能保证数据处理的顺序。生产者发送一条消息到queue，只有一个消费者能收到。

2、发布-订阅模式（kafka默认模式）：

在发布-订阅消息系统中，消息被持久化到一个topic中。与点对点消息系统不同的是，消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费后不会立马删除。在发布-订阅消息系统中，消息的生产者称为发布者，消费者称为订阅者。发布者发送到topic的消息，只有订阅了topic的订阅者才会收到消息。

二、centos7 Kafka部署（单机版）

官网
zookeeper：http://www.apache.org/dyn/closer.cgi/zookeeper/
kafka：http://kafka.apache.org/downloads

1、先安装部署zookeeper

Kafka默认是由内置的Zookeeper的，如果使用内置的zookeeper的话，可以直接采用默认集成的，此处我们选择手工自定义部署。

1）、先安装jdk，这里直接使用清华源里的AdoptOpenJDK

wget -c https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/16/jdk/x64/linux/OpenJDK16U-jdk_x64_linux_openj9_16.0.1_9_openj9-0.26.0.tar.gz
wget -c https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/16/jre/x64/linux/OpenJDK16U-jre_x64_linux_openj9_16.0.1_9_openj9-0.26.0.tar.gz
tar -xf OpenJDK16U-jdk_x64_linux_openj9_16.0.1_9_openj9-0.26.0.tar.gz
tar -xf OpenJDK16U-jre_x64_linux_openj9_16.0.1_9_openj9-0.26.0.tar.gz
mv jdk-16.0.1+9 /usr/local/jdk
mv jdk-16.0.1+9-jre /usr/local/jdk/jre

cat>>/etc/profile<<EOF
JAVA_HOME=/usr/local/jdk
JRE_HOME=/usr/local/jdk/jre
CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
JAVA_OPTS="-Xmx1024M -Xms1024M -Xmn384M -XX:PermSize=512m -XX:MaxPermSize=2048m"
PATH=$PATH:\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin
EOF

source /etc/profile
java -version

openjdk version "16.0.1" 2021-04-20
OpenJDK Runtime Environment AdoptOpenJDK-16.0.1+9 (build 16.0.1+9)
Eclipse OpenJ9 VM AdoptOpenJDK-16.0.1+9 (build openj9-0.26.0, JRE 16 Linux amd64-64-Bit Compressed References 20210421_23 (JIT enabled, AOT enabled)
OpenJ9   - b4cc246d9
OMR      - 162e6f729
JCL      - cea22090ecf based on jdk-16.0.1+9)

2）、下载、解压、部署、运行

wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gz
#Tar解压Zookeeper软件包；
tar -xf apache-zookeeper-3.6.3-bin.tar.gz
#创建Zookeeper部署目录；
mkdir -p /usr/local/zookeeper/
#将解压程序移动至ZK部署目录；
mv apache-zookeeper-3.6.3-bin/* /usr/local/zookeeper/
#查看ZK是否部署成功；
ls -l /usr/local/zookeeper/
#CP拷贝默认模板配置文件；
cd /usr/local/zookeeper/conf/
\cp zoo_sample.cfg zoo.cfg
#启动ZK软件服务；
/usr/local/zookeeper/bin/zkServer.sh start
#查看ZK服务进程和端口；
ps -ef|grep -ai zookeeper
netstat -tnlp|grep -aiwE 2181

3）、客户端测试

#启动ZK客户端命令行、创建测试信息；
/usr/local/zookeeper/bin/zkCli.sh

[root@localhost ~]# /usr/local/zookeeper/bin/zkCli.sh
/usr/local/jdk/bin/java
Connecting to localhost:2181
2021-07-11 04:09:30,521 [myid:] - INFO  [main:Environment@98] - Client environment:zookeeper.version=3.6.3--6401e4ad2087061bc6b9f80dec2d69f2e3c8660a, built on 04/08/2021 16:35 GMT
2021-07-11 04:09:30,525 [myid:] - INFO  [main:Environment@98] - Client environment:host.name=localhost
2021-07-11 04:09:30,525 [myid:] - INFO  [main:Environment@98] - Client environment:java.version=16.0.1
2021-07-11 04:09:30,526 [myid:] - INFO  [main:Environment@98] - Client environment:java.vendor=AdoptOpenJDK
2021-07-11 04:09:30,526 [myid:] - INFO  [main:Environment@98] - Client environment:java.home=/usr/local/jdk
2021-07-11 04:09:30,526 [myid:] - INFO  [main:Environment@98] - Client environment:java.class.path=/usr/local/zookeeper/bin/../zookeeper-server/target/classes:/usr/local/zookeeper/bin/../build/classes:/usr/local/zookeeper/bin/../zookeeper-server/target/lib/*.jar:/usr/local/zookeeper/bin/../build/lib/*.jar:/usr/local/zookeeper/bin/../lib/zookeeper-prometheus-metrics-3.6.3.jar:/usr/local/zookeeper/bin/../lib/zookeeper-jute-3.6.3.jar:/usr/local/zookeeper/bin/../lib/zookeeper-3.6.3.jar:/usr/local/zookeeper/bin/../lib/snappy-java-1.1.7.jar:/usr/local/zookeeper/bin/../lib/slf4j-log4j12-1.7.25.jar:/usr/local/zookeeper/bin/../lib/slf4j-api-1.7.25.jar:/usr/local/zookeeper/bin/../lib/simpleclient_servlet-0.6.0.jar:/usr/local/zookeeper/bin/../lib/simpleclient_hotspot-0.6.0.jar:/usr/local/zookeeper/bin/../lib/simpleclient_common-0.6.0.jar:/usr/local/zookeeper/bin/../lib/simpleclient-0.6.0.jar:/usr/local/zookeeper/bin/../lib/netty-transport-native-unix-common-4.1.63.Final.jar:/usr/local/zookeeper/bin/../lib/netty-transport-native-epoll-4.1.63.Final.jar:/usr/local/zookeeper/bin/../lib/netty-transport-4.1.63.Final.jar:/usr/local/zookeeper/bin/../lib/netty-resolver-4.1.63.Final.jar:/usr/local/zookeeper/bin/../lib/netty-handler-4.1.63.Final.jar:/usr/local/zookeeper/bin/../lib/netty-common-4.1.63.Final.jar:/usr/local/zookeeper/bin/../lib/netty-codec-4.1.63.Final.jar:/usr/local/zookeeper/bin/../lib/netty-buffer-4.1.63.Final.jar:/usr/local/zookeeper/bin/../lib/metrics-core-3.2.5.jar:/usr/local/zookeeper/bin/../lib/log4j-1.2.17.jar:/usr/local/zookeeper/bin/../lib/json-simple-1.1.1.jar:/usr/local/zookeeper/bin/../lib/jline-2.14.6.jar:/usr/local/zookeeper/bin/../lib/jetty-util-ajax-9.4.39.v20210325.jar:/usr/local/zookeeper/bin/../lib/jetty-util-9.4.39.v20210325.jar:/usr/local/zookeeper/bin/../lib/jetty-servlet-9.4.39.v20210325.jar:/usr/local/zookeeper/bin/../lib/jetty-server-9.4.39.v20210325.jar:/usr/local/zookeeper/bin/../lib/jetty-security-9.4.39.v20210325.jar:/usr/local/zookeeper/bin/../lib/jetty-io-9.4.39.v20210325.jar:/usr/local/zookeeper/bin/../lib/jetty-http-9.4.39.v20210325.jar:/usr/local/zookeeper/bin/../lib/javax.servlet-api-3.1.0.jar:/usr/local/zookeeper/bin/../lib/jackson-databind-2.10.5.1.jar:/usr/local/zookeeper/bin/../lib/jackson-core-2.10.5.jar:/usr/local/zookeeper/bin/../lib/jackson-annotations-2.10.5.jar:/usr/local/zookeeper/bin/../lib/commons-cli-1.2.jar:/usr/local/zookeeper/bin/../lib/audience-annotations-0.5.0.jar:/usr/local/zookeeper/bin/../zookeeper-*.jar:/usr/local/zookeeper/bin/../zookeeper-server/src/main/resources/lib/*.jar:/usr/local/zookeeper/bin/../conf:
2021-07-11 04:09:30,526 [myid:] - INFO  [main:Environment@98] - Client environment:java.library.path=/usr/local/jdk/lib/default:/usr/local/jdk/lib:/usr/lib64:/usr/lib
2021-07-11 04:09:30,526 [myid:] - INFO  [main:Environment@98] - Client environment:java.io.tmpdir=/tmp
2021-07-11 04:09:30,526 [myid:] - INFO  [main:Environment@98] - Client environment:java.compiler=j9jit29
2021-07-11 04:09:30,527 [myid:] - INFO  [main:Environment@98] - Client environment:os.name=Linux
2021-07-11 04:09:30,527 [myid:] - INFO  [main:Environment@98] - Client environment:os.arch=amd64
2021-07-11 04:09:30,527 [myid:] - INFO  [main:Environment@98] - Client environment:os.version=3.10.0-1127.el7.x86_64
2021-07-11 04:09:30,527 [myid:] - INFO  [main:Environment@98] - Client environment:user.name=root
2021-07-11 04:09:30,527 [myid:] - INFO  [main:Environment@98] - Client environment:user.home=/root
2021-07-11 04:09:30,527 [myid:] - INFO  [main:Environment@98] - Client environment:user.dir=/root
2021-07-11 04:09:30,527 [myid:] - INFO  [main:Environment@98] - Client environment:os.memory.free=4MB
2021-07-11 04:09:30,529 [myid:] - INFO  [main:Environment@98] - Client environment:os.memory.max=256MB
2021-07-11 04:09:30,529 [myid:] - INFO  [main:Environment@98] - Client environment:os.memory.total=8MB
2021-07-11 04:09:30,533 [myid:] - INFO  [main:ZooKeeper@1006] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@4f3deac
2021-07-11 04:09:30,540 [myid:] - INFO  [main:X509Util@77] - Setting -D jdk.tls.rejectClientInitiatedRenegotiation=true to disable client-initiated TLS renegotiation
2021-07-11 04:09:30,551 [myid:] - INFO  [main:ClientCnxnSocket@239] - jute.maxbuffer value is 1048575 Bytes
2021-07-11 04:09:30,560 [myid:] - INFO  [main:ClientCnxn@1736] - zookeeper.request.timeout value is 0. feature enabled=false
Welcome to ZooKeeper!
2021-07-11 04:09:30,582 [myid:localhost:2181] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1181] - Opening socket connection to server localhost/[0:0:0:0:0:0:0:1]:2181.
2021-07-11 04:09:30,582 [myid:localhost:2181] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1183] - SASL config status: Will not attempt to authenticate using SASL (unknown error)
2021-07-11 04:09:30,596 [myid:localhost:2181] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1013] - Socket connection established, initiating session, client: /[0:0:0:0:0:0:0:1]:35944, server: localhost/[0:0:0:0:0:0:0:1]:2181
JLine support is enabled
2021-07-11 04:09:30,664 [myid:localhost:2181] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1448] - Session establishment complete on server localhost/[0:0:0:0:0:0:0:1]:2181, session id = 0x100004949480000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] create /otoyix 192.168.0.37
Created /otoyix
[zk: localhost:2181(CONNECTED) 2] ls /
[otoyix, zookeeper]
[zk: localhost:2181(CONNECTED) 3] get /otoyix 
192.168.0.37
[zk: localhost:2181(CONNECTED) 4] quit
2、Kafka服务部署

下载、解压、部署、运行

wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.1/kafka_2.12-2.7.1.tgz
#Tar解压kafka软件包；
tar -xf kafka_2.12-2.7.1.tgz
#创建kafka部署目录；
mkdir -p /usr/local/kafka/
#将解压程序移动至kafka部署目录；
mv kafka_2.12-2.7.1/* /usr/local/kafka/
#查看kafka是否部署成功；
ls -l /usr/local/kafka/
#查看默认模板配置文件；
ls -l /usr/local/kafka/config/server.properties
#启动kafka软件服务；
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
#查看服务进程和端口；
ps -ef|grep -ai kafka
netstat -tnlp|grep -aiwE 9092

三、 Kafka消息发布、订阅案例

Topic被称为消息的主题、队列，每一个消息都有它的topic，Kafka通过topic对消息进行归类。Kafka中可以将Topic从物理上划分成一个或多个分区（Partition）。
每个分区在物理上对应一个文件夹，以”topicName_partitionIndex”的命名方式命名，该dir包含了这个分区的所有消息(.log)和索引文件(.index)，这使得Kafka的吞吐率可以水平扩展。

1、创建一个Topic；

cd /usr/local/kafka/bin/
./kafka-topics.sh --create  \
 --zookeeper localhost:2181  \
 --replication-factor 1  \
 --partitions 1  \
 --topic testTopic

–replication-factor 复制因子为1；
–partitions 分区为1；

2、查看已创建的Topic：

./kafka-topics.sh --list --zookeeper localhost:2181
结果
testTopic

3、 Kafka消息发布
默认Kafka支持从Console控制台发送信息，消费者也可以从Console控制台接受信息，操作步骤和方法如下：
1）创建一个生产者（产生消息）；

[root@localhost bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic
otoyix
20210712
中国人是不可战胜的

–broker-list 表示代理服务器的列表，默认单台；
2）创建一个消费者（订阅/消费消息）；

cd /usr/local/kafka/bin/
./kafka-console-consumer.sh \
--bootstrap-server localhost:9092 \
--topic testTopic --from-beginning

–from-beginning 表示从消息开始处读取；
通过如上方法测试Kafka消息发布和订阅，在生产者的Console输入数据，消费者的Console就可以看到信息，即代表Kafka可以成功进行消息的发布和订阅。
在这里插入图片描述

四、注：

1、单机容器化时，我选择的保活脚本内容为

docker run -itd --privileged=true  --name=kafka \
 -p 9092:9092 \
 -p 2181:2181 \
 -v /usr/local/docker_kafka:/usr/local/kafka \
 kafka:v1 sh /usr/local/kafka/init.sh

cat /usr/local/docker_kafka/init.sh

JAVA_HOME=/usr/local/jdk
JRE_HOME=/usr/local/jdk/jre
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
JAVA_OPTS="-Xmx1024M -Xms1024M -Xmn384M -XX:PermSize=512m -XX:MaxPermSize=2048m"
PATH=/usr/local/sbin:/opt/ansible/ansible/bin:/bin:/usr/bin:/sbin:/usr/sbin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
source /etc/profile
/usr/local/kafka/bin/zookeeper-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties
sleep 20
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
/usr/bin/init
/usr/sbin/sshd
ping -c 9999999 127.0.0.1

2、 cat /usr/local/kafka/config/server.properties|grep -vE ‘#|$’

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.0.168:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

3、创建主题topic和分区

创建topic和分区
 ./kafka-topics.sh --zookeeper 192.168.0.168:2181 --create --topic toyixcf  --replication-factor 1 --partitions 3

查看topic详细信息

for i in 001 002  003 ;do    ./kafka-topics.sh --zookeeper localhost:2181  --describe --topic dcy$i ;done

Topic: dcy001   PartitionCount: 3       ReplicationFactor: 1    Configs: 
        Topic: dcy001   Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: dcy001   Partition: 1    Leader: 0       Replicas: 0     Isr: 0
        Topic: dcy001   Partition: 2    Leader: 0       Replicas: 0     Isr: 0
Topic: dcy002   PartitionCount: 3       ReplicationFactor: 1    Configs: 
        Topic: dcy002   Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: dcy002   Partition: 1    Leader: 0       Replicas: 0     Isr: 0
        Topic: dcy002   Partition: 2    Leader: 0       Replicas: 0     Isr: 0
Topic: dcy003   PartitionCount: 3       ReplicationFactor: 1    Configs: 
        Topic: dcy003   Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: dcy003   Partition: 1    Leader: 0       Replicas: 0     Isr: 0
        Topic: dcy003   Partition: 2    Leader: 0       Replicas: 0     Isr: 0

--------------------------end

oToyix
关注
专栏目录
centos7搭建单机kafka集群
congge
02-26 1万+
centos7搭建单机kafka集群
CentOS7部署Kafka
没有梦想何必远方#
01-04 1245
指定了kafka所连接的zookeeper服务地址。指定了连接kafka集群的地址。2.安装zookeeper。：指定了所要创建主题的名称。指定了消费端订阅的主题。配置详解（与部署无关）1.安装jdk1.8。：创建主题的动作指令。
Centos7 部署kafka
weixin_42749082的博客
07-25 493
一、Centos7 部署kafka 二、kafka客户端用C#实现生产者（Producer）和消费者（Consumer） 三、kafka开机自启动配置 kafka是做什么的，此处就不再做过多的阐述了，只记录环境配置的过程 1、安装Java环境，此处略过 2、下载kafka的安装包（下载地址：http://kafka.apache.org/downloads） #下载文件到usr/local目录里边 cd /usr/local wget https://downloads.apache.org/kafka/2
centos7安装Kafka单节点环境部署二-安装与配置kafka
最新发布
龙哥·三年风水从2011年开始做IT工作，从ps画图到前端开发->后端开发->框架开发->业务架构设计及开发->业务需求整理、开发->技术经理->技术总监
08-23 1171
centos7安装Kafka单节点环境部署二-安装与配置kafka
centos7 单机安装kafka
weixin_44883255的博客
01-19 224
bin/kafka-server-start.sh config/server.properties &(后台启动kafka) bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testhua（创建topic） bin/kafka-topics.sh --list --zookeeper localhost:2181(查看topic) bin/ka
centos7 安装部署kafka_centoos 配置kafk，写的太详细了
2401_84159813的博客
04-15 582
kafka 整体有三大模块，分别为生产者producer、消费者consumer 和主题topic，其中 topic 是保存在kafka集群中的，producer 和 consumer 向集群中的 topic 中添加 events 以及消费 events，而针对这三大模块，在kafka的bin目录下，分别有对应的可执行脚本。(img-qAwGy1gL-1713116948137)]在 producer 中发布的 event，topic 的订阅者会接收到。使用 topic 控制台创建一个 topic。
Linux(CentOS)安装单机版Kafka
weixin_43822395的博客
06-30 425
然后进去解压目录的config文件下，配置一下 server.properties。新建一个ssh连接，到kafka目录利用kafka自带脚本创建一个topic测试。然后再新建一个ssh连接，到kafka目录利用kafka自带脚本创建一个消费者。第一个要配置的点是把broker.id设置成要给大于0的数。然后在生产者窗口输入消息，再消费者窗口就回里面显示出来。前置条件是配置好Java环境和Zookeeper环境。配置好之后回到kafka的目录下执行运行脚本。第二个要配置的是地址。
centos7安装单机模式kafka 2.12-3.5.2
潇洒哥的运维之道
03-31 990
在centos7上安装kafka的单机模式，而且仅仅使用kafka一个包来安装（不单独安装zookeeper，而采用kafka自带的zookeeper）。
Centos7下安装Kafka3.0（单机版）
qq_39101260的博客
04-01 4156
Centos7下安装Kafka3.0Kafka3安装（虚拟机下单机版）1、kafka下载2、解压3、配置文件的修改4、开机自启的服务脚本5、我这里存在的问题 Kafka3安装（虚拟机下单机版） 1、kafka下载 首先去官网的下载地址或者去服务站点下载合适的kafka版本，官网推荐下载2.13(指的是Scala的版本)版本的tgz包 这里下载的是kafka_2.13-3.1.0.tgz的包 2、解压 安装至你想安装的位置，我这里选择的是/usr/local/kafka-3.1.0 #首先解压文件 tar -
基于CentOS 7.x搭建Kafka2.7.0（单机部署）（内含自动安装脚本）
KingveyLee的博客
03-24 2907
前言 此方法亲测有效，适用于CentOS7版本所有的环境。 Kafka的获取地址为：http://kafka.apache.org/downloads，选择2.0以上的版本的Binary downloads进行下载，Scala版本为2.11、2.12或者2.13均可。 本文以kafka_2.12-2.7.0.tgz为例 一、环境准备 JDK环境 你需要准备一台干净的CentOS7的环境，且可有JDK的环境。 JDK环境的配置，可参考笔者的一篇博客：Linux配置JDK环境-支持JDK所有版本（超详细过程
CentOS7安装Kafka
09-03
CentOS7网络配置，安装JDK，安装Kafka，订阅发布以及测试
centos7部署kafka 集群
light的博客
08-18 360
1、创建文件夹并进入 [root@localhost /]# mkdir /data1/cluster/kafka [root@localhost /]# cd /data1/cluster/kafka/ 2、下载并上传 http://kafka.apache.org/downloads 3、解压并重命名 [root@localhost kafka]# tar -zxvf kafka_2.11-2.1.1.tgz [root@localhost kafka]# mv kafka_2.11-2.1.1 k1
centos7快速部署单机kafka
叼不起的烟斗的博客
07-29 725
实例环境 centos7.6 kafka_2.12-2.5.0.tgz java8 环境准备 java环境安装： centos7默认yum安装java8：yum install java -y kafka包下载： 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/ 下载2.5.0版本：wgethttps://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.5....
kafka_2.13-3.3.1在CentOS7中单机部署
Miklechun的专栏
10-14 818
kafka单机部署，并注册成服务启动
centos7系统安装kafka单机版
笑对人生的博客
08-20 506
centos7安装kafka的单机版
CentOS7 安装单机 Kafka
游手好闲
01-28 1476
CentOS7 安装单机 Kafka
Centos7安装单机版Kafka
moxiong3212的博客
04-03 1173
Centos7安装单机版Kafka
Centos7安装部署kafka:
qq_58832911的博客
08-24 753
安装jdk: 这里选择用JDK8:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 发现我的系统中自带Jdk就不用装了： 安装zookeeper： 将下载好的文件放在/opt目录下: 下一步进行配置： 进入 /opt/zookeeper/apache-zookeepe...
CentOS6单机部署ZK、Kafka、Redis指南
"本文档介绍了如何在单机环境中配置Zookeeper、Kafka和Redis，主要针对Centos6系统，使用的JDK版本为1.8.0_121，Kafka版本为0.10.2.0。" 在单机测试环境中部署Zookeeper、Kafka和Redis对于开发者和测试人员来说是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值