Kafka从入门到精通（二）环境搭建

最新推荐文章于 2024-05-23 17:00:35 发布
最新推荐文章于 2024-05-23 17:00:35 发布
阅读量369 收藏 1
点赞数
分类专栏： Kafka 文章标签： kafka 分布式 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36306519/article/details/130436712
版权

1 搭建Kafka集群

1、将Kafka的安装包上传到虚拟机，并解压

cd /export/software/
tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/
cd /export/server/kafka_2.12-2.4.1/

2、修改 server.properties

cd /export/server/kafka_2.12-2.4.1/config
vim server.properties
#21行 指定broker的id
broker.id=0
#60行 指定Kafka数据的位置
log.dirs=/export/servers/kafka_2.12-2.4.1/data
#123行 zookeeper集群地址
zookeeper.connect=node1.itcast.cn:2181,node2.itcast.cn:2181,node3.itcast.cn:2181

---------------------------------------------------------
find /opt/cloudera/ -name zoo.cfg
grep -Ev "^$|^[#;]" /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/etc/zookeeper/conf.dist/zoo.cfg
#过滤配置文件中空行和注释

---------------------------------------------------------
find /opt/cloudera/ -name server.properties
grep -Ev "^$|^[#;]"  /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/etc/kafka/conf.dist/server.properties
  1. 创建Kafka数据存放位置
cd /export/servers/kafka_2.12-2.4.1/
mkdir -p data
  1. 将安装好的kafka复制到另外两台服务器
cd /export/server
scp -r kafka_2.12-2.4.1/ node2.itcast.cn:$PWD
scp -r kafka_2.12-2.4.1/ node3.itcast.cn:$PWD
  1. 修改node2，node3的server.properties配置文件
 --------------------node2-------------------
 cd /export/server/kafka_2.12-2.4.1/config
 vim erver.properties
 #21行 指定broker的id
 broker.id=1
 
 --------------------node3-------------------
 cd /export/server/kafka_2.12-2.4.1/config
 vim erver.properties
 #21行 指定broker的id
 broker.id=2
  1. 配置KAFKA_HOME环境变量,三台服务器都需要配置
vim /etc/profile

#kafka环境变量
export KAFKA_HOME=/export/servers/kafka_2.12-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

分发到各个节点
scp /etc/profile node2.itcast.cn:$PWD
scp /etc/profile node3.itcast.cn:$PWD
每个节点加载环境变量
source /etc/profile
  1. 单机启动服务
# 启动ZooKeeper
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
# 启动Kafka
nohup bin/kafka-server-start.sh config/server.properties &
# 测试Kafka集群是否启动成功，第一次启动的时候，如果不报错，就代表kafka启动成功
bin/kafka-topics.sh --bootstrap-server node1.itcast.cn:9092 --list

官⽅推荐如果kafka版本⼤于等于2.2使⽤–bootstrap-server替代–zookeeper （2.2以下也兼容–zookeeper),即任意版本均支持-zookeeper 。即版本在2.2之前的只能用–zookeeper，如kafka-topics.sh --list --zookeeper node1:2181,node2:2181,node3:2181

2 目录结构分析

目录名称说明
binKafka的所有执行脚本都在这里。例如：启动Kafka服务器、创建Topic、生产者、消费者程序等等
configKafka的所有配置文件
libs运行Kafka所需要的所有JAR包
logsKafka的所有日志文件，如果Kafka出现一些问题，需要到该目录中去查看异常信息
site-docsKafka的网站帮助文件

3 Kafka一键启动/关闭脚本

为了方便将来进行一键启动、关闭Kafka，我们可以编写一个shell脚本来操作。将来只要执行一次该脚本就可以快速启动/关闭Kafka。

  1. 在节点1中创建 /export/onekey 目录
mkdir -p /export/onekey
cd /export/onekey
  1. 准备slaves配置文件，用于保存要启动哪几个节点上的kafka
vim slave

node1.itcast.cn
node2.itcast.cn
node3.itcast.cn
  1. 编写kafka-server.sh脚本
  • 如果想在任何地方都可以执行,就把这个脚本放在/usr/local/bin下
vim kafka-server.sh
#! /bin/bash
for i in `cat /export/onekey/slave`
do
echo "========== $i ==========" 
if [ $1 == "start" ]
then
ssh $i "source /etc/profile;export JMX_PORT=9988;nohup ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties &" &
fi
if [ $1 == "stop" ]
then
    ssh $i "source /etc/profile;jps |grep Kafka |cut -d' ' -f1 |xargs kill -s 9"
fi
# echo $?
done
  1. 给kafka-server.sh配置执行权限
chmod u+x kafka-server.sh
  1. 执行一键启动、一键关闭
#启动
kafka-server.sh start
#关闭
kafka-server.sh stop

4 server.properties文件配置详解

4.1 kafka参数配置详情

参数说明(解释)
broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况
log.dirs=/data/kafka-logskafka数据的存放地址，多个地址的话用逗号分割/data/kafka-logs-1，/data/kafka-logs-2
port =9092broker server服务端口
message.max.bytes =6525000表示消息体的最大大小，单位是字节
num.network.threads =4broker处理消息的最大线程数，一般情况下不需要去修改
num.io.threads =8broker处理磁盘IO的线程数，数值应该大于你的硬盘数
background.threads =4一些后台任务处理的线程数，例如过期消息文件的删除等，一般情况下不需要去做修改
queued.max.requests =500等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个数值，那么会停止接受外部消息，应该是一种自我保护机制。
host.namebroker的主机地址，若是设置了，那么会绑定到这个地址上，若是没有，会绑定到所有的接口上，并将其中之一发送到ZK，一般不设置
socket.send.buffer.bytes=100*1024socket的发送缓冲区，socket的调优参数SO_SNDBUFF
socket.receive.buffer.bytes =100*1024socket的接受缓冲区，socket的调优参数SO_RCVBUFF
socket.request.max.bytes =10010241024socket请求的最大数值，防止serverOOM，message.max.bytes必然要小于socket.request.max.bytes，会被topic创建时的指定参数覆盖
log.segment.bytes =102410241024topic的分区是以一堆segment文件存储的，这个控制每个segment的大小，会被topic创建时的指定参数覆盖
log.roll.hours =24*7这个参数会在日志segment没有达到log.segment.bytes设置的大小，也会强制新建一个segment会被 topic创建时的指定参数覆盖
log.cleanup.policy = delete日志清理策略选择有：delete和compact主要针对过期数据的处理，或是日志文件达到限制的额度，会被 topic创建时的指定参数覆盖
log.retention.minutes=3days数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据，也就是消费端能够多久去消费数据log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖
log.retention.bytes=-1topic每个分区的最大文件大小，一个topic的大小限制 =分区数*log.retention.bytes。-1没有大小限log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖
log.retention.check.interval.ms=5minutes文件大小检查的周期时间，是否处罚 log.cleanup.policy中设置的策略
log.cleaner.enable=false是否开启日志压缩
log.cleaner.threads = 2日志压缩运行的线程数
log.cleaner.io.max.bytes.per.second=None日志压缩时候处理的最大大小
log.cleaner.dedupe.buffer.size=50010241024日志压缩去重时候的缓存空间，在空间允许的情况下，越大越好
log.cleaner.io.buffer.size=512*1024日志清理时候用到的IO块大小一般不需要修改
log.cleaner.io.buffer.load.factor =0.9日志清理中hash表的扩大因子一般不需要修改
log.cleaner.backoff.ms =15000检查是否处罚日志清理的间隔
log.cleaner.min.cleanable.ratio=0.5日志清理的频率控制，越大意味着更高效的清理，同时会存在一些空间上的浪费，会被topic创建时的指定参数覆盖
log.cleaner.delete.retention.ms =1day对于压缩的日志保留的最长时间，也是客户端消费消息的最长时间，同log.retention.minutes的区别在于一个控制未压缩数据，一个控制压缩后的数据。会被topic创建时的指定参数覆盖
log.index.size.max.bytes =1010241024对于segment日志的索引文件大小限制，会被topic创建时的指定参数覆盖
log.index.interval.bytes =4096当执行一个fetch操作后，需要一定的空间来扫描最近的offset大小，设置越大，代表扫描速度越快，但是也更好内存，一般情况下不需要搭理这个参数
log.flush.interval.messages=Nonelog文件”sync”到磁盘之前累积的消息条数,因为磁盘IO操作是一个慢操作,但又是一个”数据可靠性"的必要手段,所以此参数的设置,需要在**“*数据可靠性*"与"性能"之间做必要的权衡.如果此值过大,将会导致每次"fsync"的时间较长(IO阻塞),如果此值过小,将会导致"fsync”**的次数较多,这也意味着整体的client请求有一定的延迟.物理server故障,将会导致没有fsync的消息丢失.
log.flush.scheduler.interval.ms =3000检查是否需要固化到硬盘的时间间隔
log.flush.interval.ms = None仅仅通过interval来控制消息的磁盘写入时机,是不足的.此参数用于控制**“fsync”**的时间间隔,如果消息量始终没有达到阀值,但是离上一次磁盘同步的时间间隔达到阀值,也将触发.
log.delete.delay.ms =60000文件在索引中清除后保留的时间一般不需要去修改
log.flush.offset.checkpoint.interval.ms =60000控制上次固化硬盘的时间点，以便于数据恢复一般不需要去修改
auto.create.topics.enable =true是否允许自动创建topic，若是false，就需要通过命令创建topic
default.replication.factor =1是否允许自动创建topic，若是false，就需要通过命令创建topic
num.partitions =1每个topic的分区个数，若是在topic创建时候没有指定的话会被topic创建时的指定参数覆盖

4.2 kafka中Leader,replicas参数配置详情

参数说明(解释)
controller.socket.timeout.ms =30000partition leader与replicas之间通讯时,socket的超时时间
controller.message.queue.size=10partition leader与replicas数据同步时,消息的队列尺寸
replica.lag.time.max.ms =10000replicas响应partition leader的最长等待时间，若是超过这个时间，就将replicas列入ISR(in-sync replicas)，并认为它是死的，不会再加入管理中
replica.lag.max.messages =4000如果follower落后与leader太多,将会认为此follower[或者说partition relicas]已经失效##通常,在follower与leader通讯时,因为网络延迟或者链接断开,总会导致replicas中消息同步滞后##如果消息之后太多,leader将认为此follower网络延迟较大或者消息吞吐能力有限,将会把此replicas迁移##到其他follower中.##在broker数量较少,或者网络不足的环境中,建议提高此值.
replica.socket.timeout.ms=30*1000follower与leader之间的socket超时时间
replica.socket.receive.buffer.bytes=64*1024leader复制时候的socket缓存大小
replica.fetch.max.bytes =1024*1024replicas每次获取数据的最大大小
replica.fetch.wait.max.ms =500replicas同leader之间通信的最大等待时间，失败了会重试
replica.fetch.min.bytes =1fetch的最小数据尺寸,如果leader中尚未同步的数据不足此值,将会阻塞,直到满足条件
num.replica.fetchers=1leader进行复制的线程数，增大这个数值会增加follower的IO
replica.high.watermark.checkpoint.interval.ms =5000每个replica检查是否将最高水位进行固化的频率
controlled.shutdown.enable =false是否允许控制器关闭broker ,若是设置为true,会关闭所有在这个broker上的leader，并转移到其他broker
controlled.shutdown.max.retries =3控制器关闭的尝试次数
controlled.shutdown.retry.backoff.ms =5000每次关闭尝试的时间间隔
leader.imbalance.per.broker.percentage =10leader的不平衡比例，若是超过这个数值，会对分区进行重新的平衡
leader.imbalance.check.interval.seconds =300检查leader是否不平衡的时间间隔
offset.metadata.max.bytes客户端保留offset信息的最大空间大小

4.3 kafka中zookeeper参数配置详情

参数说明(解释)
zookeeper.connect = localhost:2181zookeeper集群的地址，可以是多个，多个之间用逗号分割hostname1:port1,hostname2:port2,hostname3:port3
zookeeper.session.timeout.ms=6000ZooKeeper的最大超时时间，就是心跳的间隔，若是没有反映，那么认为已经死了，不易过大
zookeeper.connection.timeout.ms =6000ZooKeeper的连接超时时间
zookeeper.sync.time.ms =2000ZooKeeper集群中leader和follower之间的同步实际那

5目录结构分析

目录名称说明
binKafka的所有执行脚本都在这里。例如：启动Kafka服务器、创建Topic、生产者、消费者程序等等
configKafka的所有配置文件
libs运行Kafka所需要的所有JAR包
logsKafka的所有日志文件，如果Kafka出现一些问题，需要到该目录中去查看异常信息
site-docsKafka的网站帮助文件

6 docker-compose安装Kafka

6.1 安装单机docker-compose

sudo curl -L "https://get.daocloud.io/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x/usr/local/bin/docker-compose

6.2 新建文件夹docker-kafka

mkdir docker-kafka
cd docker-kafka
# 查看kafka版本
bash-4.4# find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
kafka_2.13-2.6.0

6.3 编辑docker-compose.yml

cat > /data/docker/docker-compose/docker-kafka-cluster/docker-compose.yml << EOF
version: '3.1'
services:
  zookeeper:
    image: wurstmeister/zookeeper   ## 镜像
    container_name: zookeeper
    hostname: zookeeper
    restart: always
    environment:
      - TZ=Asia/Shanghai
      - LANG=zh_CN.UTF-8
    ports:
      - "2181:2181"                 ## 对外暴露的端口号
  kafka:
    image: wurstmeister/kafka       ## 镜像
    container_name: kafka
    hostname: kafka
    restart: always
    environment:
        - TZ=Asia/Shanghai
        - LANG=zh_CN.UTF-8
    volumes:
        - /data/docker/kafka/:/etc/localtime ## 挂载位置（kafka镜像和宿主机器之间时间保持一直）
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.66.71   ## 修改:宿主机IP
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.66.71:9092    ## 修改:宿主机IP
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181       ## 卡夫卡运行是基于zookeeper的
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_BROKER_ID: 1
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_LOG_RETENTION_HOURS: 120
      KAFKA_MESSAGE_MAX_BYTES: 10000000
      KAFKA_REPLICA_FETCH_MAX_BYTES: 10000000
      KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS: 60000
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DELETE_RETENTION_MS: 1000
  kafka-manager:
    image: sheepkiller/kafka-manager                ## 镜像：开源的web管理kafka集群的界面
    container_name: kafka-manager
    hostname: kafka-manager
    restart: always
    environment:
        - TZ=Asia/Shanghai
        - LANG=zh_CN.UTF-8
    environment:
        ZK_HOSTS: 192.168.66.71                   ## 修改:宿主机IP
    ports:
      - "9000:9000"                                 ## 暴露端口
EOF

启动服务

docker-compose up -d

停止服务

docker-compose stop

停止并删除服务

docker-compose down

7 集群docker-compose.yml

[root@localhost docker-compose]# mkdir docker-kafka-cluster

[root@localhost docker-compose]# mkdir /data/docker/kafka/1

[root@localhost docker-compose]# mkdir /data/docker/kafka/2

[root@localhost docker-compose]# mkdir /data/docker/kafka/3

cat > /data/docker/docker-compose/docker-kafka-cluster/docker-compose.yml << EOF
version: '3.1'
services:
  zookeeper:
    image: wurstmeister/zookeeper   ## 镜像
    container_name: zookeeper
    hostname: zookeeper
    restart: always
    environment:
      - TZ=Asia/Shanghai
      - LANG=zh_CN.UTF-8
    ports:
      - "2181:2181"                 ## 对外暴露的端口号
  kafka1:
    image: wurstmeister/kafka       ## 镜像
    container_name: kafka1
    hostname: kafka1
    restart: always
    environment:
        - TZ=Asia/Shanghai
        - LANG=zh_CN.UTF-8
    volumes:
        - /data/docker/kafka/1/:/etc/localtime ## 挂载位置（kafka镜像和宿主机器之间时间保持一直）
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.66.71   ## 修改:宿主机IP
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.66.71:9092    ## 修改:宿主机IP
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181       ## 卡夫卡运行是基于zookeeper的
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_BROKER_ID: 1
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_LOG_RETENTION_HOURS: 120
      KAFKA_MESSAGE_MAX_BYTES: 10000000
      KAFKA_REPLICA_FETCH_MAX_BYTES: 10000000
      KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS: 60000
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DELETE_RETENTION_MS: 1000
  kafka2:
    image: wurstmeister/kafka       ## 镜像
    container_name: kafka2
    hostname: kafka2
    restart: always
    environment:
        - TZ=Asia/Shanghai
        - LANG=zh_CN.UTF-8
    volumes:
        - /data/docker/kafka/2/:/etc/localtime ## 挂载位置（kafka镜像和宿主机器之间时间保持一直）
    ports:
      - "9093:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.66.71   ## 修改:宿主机IP
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.66.71:9093    ## 修改:宿主机IP
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181       ## 卡夫卡运行是基于zookeeper的
      KAFKA_ADVERTISED_PORT: 9093
      KAFKA_BROKER_ID: 2
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_LOG_RETENTION_HOURS: 120
      KAFKA_MESSAGE_MAX_BYTES: 10000000
      KAFKA_REPLICA_FETCH_MAX_BYTES: 10000000
      KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS: 60000
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DELETE_RETENTION_MS: 1000
  kafka3:
    image: wurstmeister/kafka       ## 镜像
    container_name: kafka3
    hostname: kafka3
    restart: always
    environment:
        - TZ=Asia/Shanghai
        - LANG=zh_CN.UTF-8
    volumes:
        - /data/docker/kafka/3/:/etc/localtime ## 挂载位置（kafka镜像和宿主机器之间时间保持一直）
    ports:
      - "9094:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.66.71   ## 修改:宿主机IP
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.66.71:9094    ## 修改:宿主机IP
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181       ## 卡夫卡运行是基于zookeeper的
      KAFKA_ADVERTISED_PORT: 9094
      KAFKA_BROKER_ID: 3
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_LOG_RETENTION_HOURS: 120
      KAFKA_MESSAGE_MAX_BYTES: 10000000
      KAFKA_REPLICA_FETCH_MAX_BYTES: 10000000
      KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS: 60000
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DELETE_RETENTION_MS: 1000      
  kafka-manager:
    image: sheepkiller/kafka-manager                ## 镜像：开源的web管理kafka集群的界面
    container_name: kafka-manager
    hostname: kafka-manager
    restart: always
    environment:
        - TZ=Asia/Shanghai
        - LANG=zh_CN.UTF-8
    environment:
        ZK_HOSTS: 192.168.66.71                   ## 修改:宿主机IP
    ports:
      - "9000:9000"                                 ## 暴露端口
EOF

关于上述的docker-compose.yml的配置文件的每一行解释，这里不再过多解释，可以参阅官方资料，需要补充两点说明：

  1. 网络环境，可以使用docker命令创建一个网络，然后再在yml文件中指定自己的网络
  2. kafka-manager，kafka客户端可视化控制台，可以根据需要选择性安装
  3. 如果需要继续增加kafka节点，参照kafka1和kafka2的配置继续追加接口
  4. 生产环境下，zookeeper是很重要的服务协调者，建议做成集群，即配置高可用
  5. 生产环境下，建议将zookeeper和kafka都配置上数据卷，方便运维和管理

7.1 启动集群

通过下面的命令启动集群，注意是在docker-compose.yml同级目录下

docker-compose up -d

或者

docker-compose logs -f  docker-compose.yml up -d

首次构建，会去中央仓库下载zookeeper和kafka 在这里插入图片描述 使用docker-compose的一个好处就是，通过docker-compose命令构建后会自己启动集群而无需像docker那样再执行一遍命令，可以看到kafka两个节点和zookeeper已经启动 在这里插入图片描述

7.2 kafka集群测试

下面简单测试一下kafka的命令

1、进入kafka其中一个容器，通过终端命令创建一个topic并发消息

docker exec -it kafka1 /bin/bash
kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --topic test

在这里插入图片描述 2、进入kafka1的终端命令控制台并发几条消息

kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --topic test

在这里插入图片描述

3、通过kafka2开启一个客户端作为consumer接收来自上述kafka1发送的消息

kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic test --from-beginning

在这里插入图片描述

4、获取topic列表

bash-4.4# kafka-topics.sh --list --zookeeper zookeeper:2181
bash-4.4# kafka-topics.sh  --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --list

5、查看zookeeper节点

[root@localhost ~]# docker exec -it zookeeper bash
root@zookeeper:/opt/zookeeper-3.4.13# ./bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 1] ls /
get /log_dir_event_notification
get /isr_change_notification
get /zookeeper
get /admin
get /consumers
get /cluster
get /config
get /latest_producer_id_block
get /controller
get /kafka-manager
get /brokers
get /controller_epoch

7.3 目录结构分析

目录名称说明
binKafka的所有执行脚本都在这里。例如：启动Kafka服务器、创建Topic、生产者、消费者程序等等
configKafka的所有配置文件
libs运行Kafka所需要的所有JAR包
logsKafka的所有日志文件，如果Kafka出现一些问题，需要到该目录中去查看异常信息
site-docsKafka的网站帮助文件
至尊宝l
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka环境搭建
12-26
kafka在windows及linux环境中的搭建以及详细命令 kafka在windows及linux环境中的搭建以及详细命令
搭建kafka服务器集群
nielinyuan1466的博客
06-12 555
要搭建Kafka服务器集群，您需要进行以下步骤：
Kafka 安装教程和基本操作
最新发布
一念之间 一心向阳
05-23 2395
Kafka安装教程和基本操作
kafaka环境搭建
weixin_38169206的博客
09-01 285
激动无比，终于成功搭建了一套集群的kafka，记录下我的搭建步骤，供大家参考，如有不对，请指正： 1.集群搭建 首先搭建一个一主三从（或一主两从）的集群， 2.配置jdk环境 需要是jdk8的包 我的是ubuntu14,需要预选准备jdk包，然后解压配置环境变量 路径：/usr/local/jdk 解压：tar -zxvf jdk-8u191-linux-x64.tar.g...
kafka 服务器搭建
咸花生的博客
05-04 2371
搭建步骤1、下载2 须知3、zookeeper 服务配置4、启动zookeeper 服务5、配置 kafka 服务6、启动kafka 服务器7、 使用 kafka 连接工具8、遇到问题 1、下载 官网地址：http://kafka.apache.org/downloads 直接连接：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka_2.13-2.8.0.tgz 下载/解压： # 安装 wget $ yum -y install wg
搭建kafaka_搭建kafka运行环境
weixin_36040444的博客
12-31 111
刚才只是启动了单个broker，现在启动有3个broker组成的集群，这些broker节点也都是在本机上的Step 1 : 为每一个broker提供配置文件我们先看看config/server.properties配置信息：[root@localhostconfig]#grep-v'#'server.properties|sortbroker.id=0port=9092num.ne...
Zookeeper入门到精通 教学视频及文档
04-26
《Zookeeper入门到精通》教学视频及文档涵盖了分布式协调服务Zookeeper的核心概念、安装配置、基本操作以及在实际应用中的高级技巧。Zookeeper是Apache Hadoop项目的一个子项目，它为分布式应用程序提供高效且可靠的...
Spark从入门到精通
07-14
上百节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。...二、课程环境搭建 三、Spark核心编程 四、Spark内核源码深度剖析 五、Spark性能优化 六、Spark SQL 七、Spark Streaming
后端开发学习指南：从入门到精通的路径规划
04-28
### 后端开发学习指南：从入门到精通的路径规划 #### 一、基础编程语言 在后端开发中，选择合适的编程语言是至关重要的第一步。以下几种编程语言被广泛应用于后端开发： 1. **Java**：Java 是一种跨平台的面向...
flink入门到精通视频教程
07-15
1.知识体系完备，从小白到大神各阶段读者均能学有所获。 2.生动形象，化繁为简，讲解通俗易懂。 3.结合工作实践及分析应用，培养解决实际问题的能力。 4.每一块知识点, 都有配套案例, 学习不再迷茫。 课程内容： 1....
springcloud学习文档和代码（springcloud从入门到精通）
01-08
这份"springcloud学习文档和代码（springcloud从入门到精通）"的压缩包资源，显然旨在帮助初学者和有经验的开发者深入理解并掌握SpringCloud的各项功能和最佳实践。 首先，让我们从SpringCloud的核心组件开始了解：...
windows下kafka本地搭建工具包（全）.7z
07-28
windows 系统下搭建kafka超详细教程 + 搭建所需要的软件包，包含： jdk-13_windows-x64_bin apache-zookeeper-3.6.1-bin kafka_2.12-2.5.0
搭建Linux服务器kafka环境
攻城狮Chova的博客
12-21 385
Linux服务器安装kafka基本概念安装包下载创建安装目录解压安装包配置kafka启动kafka验证kafka验证主题topic验证生产者producer验证消费者consumer 基本概念 安装kafka之前,首先要确保服务器环境中安装了JDK和zookeeper 安装包下载 下载kafka 2.6.0 使用wget命令下载: wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz 创建安装目录 创建kafka安装
Spring Boot与RabbitMQ
1024
10-13 220
Spring Boot与消息 大多应用中, 可通过消息服务中间件来提升系统异步通信, 扩展解耦能力 消息服务中有消息代理(message broker) 和 目的地(destination) 两个重要概念 当消息发送者发送消息以后, 将由消息代理接管, 消息代理保证消息传递到指定目的地 消息队列 消息队列主要有两种形式的目的地 队列(queue): 点对点消息通信 (point-to-point) 主题(topic): 发布(publish) / 订阅(subscribe) 消息通信 点对点式
Kafka环境搭建和理论基础
illovesoftware的博客
03-16 280
一.消息对列 1.什么是消息对列 我们可以把消息队列比作是一个存放消息的容器，当我们需要使用消息的时候可以取出消息供自己使用。消息队列是分布式系统中重要的组件，使用消息队列主要是为了通过异步处理提高系统性能和削峰、降低系统耦合性。队列 Queue 是一种先进先出的数据结构，所以消费消息时也是按照顺序来消费的。比如生产者发送消息1,2,3...对于消费者就会按照1,2,3...的顺序来消费。 2.消息对列的应用场景 消息队列在实际应用中包括如下四个场景： (1) 应用耦合：...
KAFKA环境搭建
chuanchenyi的博客
05-13 2788
1.kafka环境搭建： kafka是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础，具有高水平扩展和高吞吐量。 （1）zookeeper环境部署： kafka是由zookeeper管理的，那么kafka的部署需要在zookeeper安装好之后进行。 安装zookeeper到指定的目录里： tar -zxvf zookeeper-3.4.8.tar.gz mv zookeep
建立一个公网kafka
wegvhyhhf的博客
06-05 352
首先我在虚拟机里面安装了 zookeeper-3.5.7 kafka_2.11-2.4.1 建立了对应的3台集群。其中 172.20.106.100:9092 为我们公司分配给每个人的windows下内网的地址 用的软件为。四 然后使用花生壳就行内网穿透 使用tcp的映射类型就可以 直接使用 访问地址就可以使用。将所有的端口号对外开发 也可以只开放 你需要的端口号 可以看我以前的博客有介绍。想建立一个可以在公网上使用的kafka 有如下步骤。
简单易懂Kafka搭建
qq_24347541的博客
06-10 6263
kafka搭建 cd /usr/local wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz 下载完成后解压 tar -zxvf kafka_2.11-2.2.0.tgz cd kafka_2.11-2.2.0 解压后进入看下基本的结构 logs是日志记录的目录，config是基本配置文件的目录...
KafKa服务搭建
yanhuhui的专栏
10-19 156
事先安装好zookeeper   1.下载kafka：http://kafka.apache.org/downloads.html 这里我下载的是kafka_2.11-0.11.0.1.tgz   2.解压 tar -xzf kafka_2.11-0.11.0.1.tgz 解压后的目录结构   3.修改配置config/server.properties 主要修改： ...
Kafka深度解析：从入门到精通
适合大数据和J2EE方向的学习者，旨在帮助读者从入门到深入理解Kafka的运作机制。文档强调了Kafka作为分布式消息中间件的角色，其持久性、高性能以及与ZooKeeper的依赖关系。" 在深入探讨Kafka之前，让我们先理解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值