kafka安装搭建以及topic创建相关

最新推荐文章于 2024-09-07 17:17:49 发布
最新推荐文章于 2024-09-07 17:17:49 发布
阅读量484 收藏 1
点赞数
文章标签： kafka zookeeper 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_43391490/article/details/108275349
版权

kafka安装搭建（Linux）

kafka安装

由于kafka运行需要jdk以及zookeeper的支持，所以需要先在环境里面搭建好jdk以及zookeeper

###java安装

  • 0.下载jdk8

    登录Oracle官网
    选择对应jdk版本下载。（可在Windows下下载完成后，通过文件夹共享到Linux上）

  • 1.登录Linux，切换到root用户

    • su root 获取root用户权限，当前工作目录不变(需要root密码)

    • sudo -i不需要root密码直接切换成root（需要当前用户密码）

    • 文件——连接SFTP标签——将压缩文件拖入SFTP窗口(最方便)

  • 2.在home目录下建立java安装目录 cd /home mkdir java

  • 3.将jdk-8u60-linux-x64.tar.gz拷贝到java目录下

    • cp /home/temp/linux/jdk-8u60-linux-x64.tar.gz /usr/java/

  • 4.解压jdk到当前目录

    • tar -zxvf jdk-8u60-linux-x64.tar.gz

      得到文件夹 jdk1.8.0_60

  • 5.安装完毕为他建立一个链接以节省目录长度

    • ln -s /usr/java/jdk1.8.0_60/ /usr/jdk(我没用这一步)

  • 6.编辑配置文件，配置环境变量

    vim /etc/profile
    添加如下内容：JAVA_HOME根据实际目录来

    JAVA_HOME=/home/java/jdk1.8.0_60

CLASSPATH=$JAVA_HOME/lib/

PATH=PATH:JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

  • 7.重启机器或执行命令 ：source /etc/profile

    sudo shutdown -r now

  • 8.查看安装情况

    java -version

zookeeper安装

  • 下载

官网下载地址

img

  • 上传解压

    将刚才下载的文件，上传到Linux文件系统中。然后解压：

[root@nbu tmp]#tar -zxvf zookeeper-3.4.10.tar.gz

​ 将解压后的文件复制到/home目录下，并重命名为zookeeper：

[root@nbu tmp]# cp zookeeper-3.4.10 /home/zookeeper -r  //复制所有文件到zookeeper 文件夹下
[root@nbu tmp]# cd /usr/local/zookeeper				   //切换到/home/zookeeper目录下

  • 配置

    切换到zookeeper目录下的conf目录下，重新复制一份zoo_sample.cfg文件并命名为zoo.cfg：

[root@nbu conf]# cp zoo_sample.cfg zoo.cfg	//copy一份到当前目录下，并命名为zoo.cfg

修改zoo.cfg文件如下：

[root@nbu conf]# vi zoo.cfg



dataDir=/tmp/zookeeper

前提是要创建/tmp/zookeeper目录，不然启动时会报错。

  • 最后一步配置环境变量：
[root@nbu zookeeper]# vi /etc/profile			//编辑文件
[root@nbu zookeeper]# source /etc/profile    //使生效

添加如下内容：

export ZOOKEEPER=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER/bin

img

  • 启动Zookeeper

因为配置了环境变量，所以在任意目录下都可以运行以下启动命令启动Zookeeper。

[root@nbu ~]# zkServer.sh start //启动

[root@nbu ~]# zkServer.sh status  //查看运行状态

启动客户端：

[root@nbu ~]# zkCli.sh   //启动客户端

Zookeeper运行报错情况

1.zookeeper 集群在始终拒绝连接

​ 需要在hosts里面注释掉127.0.0.1这一行，两个地址映射不能指向自己，该指向集群中其它机器，端口绑定的地址不是127.0.0.1所以不能用这个地址。

2.zookeeper中无法找到zoo.cfg

在运行./zkServer.sh 时候 需要指定一下后面的config 配置的zoo.cfg路径

以/home/zookeeper目录为例

./bin/zkServer.sh --config /home/zookeeper/conf start

查看状态依旧

/bin/zkServer.sh --config /home/zookeeper/con status

3.broken.id配置myid配置

# 创建 ID 文件,并把 server.x 中的 x 数字写入文件中

eg:10.172.53.144

vi /tmp/zookeeper/myid

Kafka集群部署

  1. 解压安装包

[root@nbu software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

  1. 修改解压后的文件名称

[root@nbu module]$ mv kafka_2.11-0.11.0.0/ kafka

  1. 在/opt/module/kafka目录下创建logs文件夹

[root@nbu kafka]$ mkdir logs

  1. 修改配置文件

[root@nbu kafka]$ cd config/

[root@nbu config]$ vi server.properties

输入以下内容：

#broker的全局唯一编号，不能重复

broker.id=0

#删除topic功能使能

delete.topic.enable=true

#处理网络请求的线程数量

num.network.threads=3

#用来处理磁盘IO的现成数量

num.io.threads=8

#发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

#接收套接字的缓冲区大小

socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小

socket.request.max.bytes=104857600

#kafka运行日志存放的路径	

log.dirs=/opt/module/kafka/logs

#topic在当前broker上的分区个数

num.partitions=1

#用来恢复和清理data下数据的线程数量

num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除

log.retention.hours=168

#配置连接Zookeeper集群地址

zookeeper.connect=kafka2.sd.cn:2181,kafka3.sd.cn:2181,kafka1.sd.cn:2181
  1. 配置环境变量

[root@nbu module]$ sudo vi /etc/profile

#KAFKA_HOME

export KAFKA_HOME=/opt/module/kafka

export PATH=PATH:KAFKA_HOME/bin

[root@nbu module]$ source /etc/profile

  1. 分发安装包

[root@nbu module]$ xsync kafka/

​ 注意：分发之后记得配置其他机器的环境变量

  1. 分别在kafka1.sd.cn和kafka2.sd.cn上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2

    注：broker.id不得重复

  2. 启动集群

    依次在kafka1.sd.cn、kafka2.sd.cn、kafka3.sd.cn节点上启动kafka

  • [root@nbu kafka]$ bin/kafka-server-start.sh config/server.properties &
  1. 关闭集群
  • [root@nbu kafka]$ bin/kafka-server-stop.sh stop

kafka运行

运行

在目录/home/kafka下运行命令

  • ./bin/kafka-server-start.sh config/server.properties &
  • 其中容易出现报错，解决方法 在/tmp/kafka-logs/mate.propoties中 ，注释掉那条ID的语句
  • 其中 kafka服务关闭语句为kafka-server-stop.sh

创建topic

运行成功后进行topic的创建

  • 创建 ./bin/kafka-topics.sh --create --zookeeper kafka2.sd.cn:2181 --replication-factor 3 --partitions 1 --topic test-xu

    • 其中–replication-factor 指的是复制份数 一般不超过集群的个数
    • –partitions 1 指分区
    • –topic 命名

  • 删除topic

    • ./bin/kafka-topics.sh --delete --zookeeper kafka2.sd.cn:2181 --topic test
    • 需要 server.properties 中设置 delete.topic.enable=true 否则只是标记删除或者直接重启

  • 查看 创建的topic

    • ./bin/kafka-topics.sh --describe --zookeeper kafka2.sd.cn:2181 --topic test-xu
    • 创建topic之后 在/tmp/kafka-logs中 可以看到创建的topic名字

  • 列出当前kafka所有的topic

    • ./bin/kafka-topics.sh --zookeeper kafka2.sd.cn:2181 --list

  • 修改topic(分区数、特殊配置如compact属性、数据保留时间等)

    • bin/kafka-topics.sh --zookeeper nbu:2181 --alter --partitions 3 --config cleanup.policy=compact --topic test_topic
    • 修改topic(也可以用这种)
    • bin/kafka-configs.sh --alter --zookeeper nbu:2181 --entity-name test_topic --entity-type topics --add-config cleanup.policy=compact
    • bin/kafka-configs.sh --alter --zookeeper nbu:2181 --entity-name test_topic --entity-type topics --delete-config cleanup.policy

  • 删除topic

    • ./bin/kafka-topics.sh --delete --zookeeper kafka2.sd.cn:2181 --topic test21

  • 通过 shell 命令发送消息

    • ./bin/kafka-console-producer.sh --broker-list kafka2.sd.cn:9092 --topic test-xu
  • 通过 shell 消费消息
    • 低版本： ./bin/kafka-console-consumer.sh --zookeeper kafka2.sd.cn:2181 --from-beginning --topic test-xu
    • 最新： ./bin/kafka-console-consumer.sh --bootstrap-server kafka2.sd.cn:9092 --topic test-xu --from-beginning
      • 其中 --from-begining 表示 从生产者一开始发送数据开始接收

遇到的报错

  1. 找不到需要连接的host，需要在server.propreties中配置好 hostname ，注意需要写入
  2. /tmp/meta.properties 中将id引用掉

在这里插入图片描述
创建topic生产消息
在这里插入图片描述
消费消息
在这里插入图片描述

删除topic

在这里插入图片描述

Zoexyf
关注
kafka单节点搭建（创建topic让producer为consumer提供消息）
大壮的博客
07-22 4281
kafka单节点搭建（创建topic让producer为consumer提供消息） kafka是一种高吞吐量的分布式发布订阅消息系统，了解topic创建然后producer提供消息给consumer  移除点击此处添加图片说明文字 ​在很多的场景我们使用到了kafka，现在我们开始搭建单机版本kafka，理论我们放到另一篇来说。 准备工作：  移除这里写图片描述 上述的
【kafka源码】Topic的创建源码分析(附视频)
2401_84048445的博客
04-18 870
经过日积月累， 以下是小编归纳整理的深入了解Java虚拟机文档，希望可以帮助大家过关斩将顺利通过面试。由于整个文档比较全面，内容比较多，篇幅不允许，下面以截图方式展示。由于篇幅限制，文档的详解资料太全面，细节内容太多，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！[外链图片转存中…(img-NeyuEQDj-1713398260491)]
kafka中文文档topic配置参数
05-05
NULL 博文链接：https://bewithme.iteye.com/blog/2395202
kafka创建topic命令_kafka的安装和常用基本命令说明
weixin_39531688的博客
12-03 356
一: MAC安装kafka安装：kafka依赖java环境，因此你可能需要先安装好java环境。// mac 环境使用brew直接安装kafka brew install kafka // 卸载 brew uninstall kafkamac 安装kafka过程中会自动的安装好zookeeper。启动：// 启动 brew services start kafka brew services...
Kafka原理剖析之「Topic创建」
最新发布
sjzsylkn的专栏
09-07 1922
Kafka提供了高性能的读写，而这些读写操作均是操作在Topic上的，Topic的创建就尤为关键，其中涉及分区分配策略、状态流转等，而Topic的新建语句非常简单--bootstrap-server localhost:9092 \ // 需要写入endpoints--create --topic topicA // 要创建的topic名称--partitions 10 // 当前要创建的topic分区数。
kafka安装步骤及创建查询topic
weixin_43648241的博客
08-02 232
1.上传kafka安装包 2.解压 3.修改kafka配置文件 vi servier.properties #指定broker的id broker.id=1 #数据存储的目录 log.dirs=/data/kafka #指定zk地址 zookeeper.connect=linux01:2181,linux02:2181,linux03:2181 4.分发到各个节点 (各节点的borker.id需要修改) 5.先启动zookeeper节点 6.启动各节点的kafka /xxx/kafka_2.12-2
kafka集群创建
yangchuanan的博客
02-19 489
kafka集群搭建 三台Linux机器 ifconfig获取机器IP kafka-01 10.10.67.102 kafka-02 10.10.67.104 kafka-03 10.10.67.106 一、安装jdk环境（三台机器执行相同操作） 1、下载包 jdk-8u192-linux-x64.tar.gz 2、拷贝到/opt目录下面 3、解压 tar -zxvf jdk-8u192-...
kafka 创建topic，查看topic
每天记录一点点，20181220回头看看是什么样
11-09 4万+
创建 创建kafka topic bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181   方法一： 执行linux命令： bin/kafka-topics.sh --create --topic topicna
kafka集群搭建文档
05-31
本篇文档将详细介绍如何在Linux环境中搭建Kafka集群，同时结合Hadoop和Spark的分布式安装，构建一个完整的数据处理平台。 首先，搭建Kafka集群的基础条件包括： 1. 至少一台Linux服务器，但为了高可用性，推荐多台...
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
kafka环境搭建
12-26
通过以上步骤，我们已经在 Windows 和 Linux 环境下成功搭建了 Kafka 环境，并创建了一个 Topic 用于生产和消费消息。Kafka 的安装和配置过程相对简单，但对于大规模部署来说，还需要考虑更多的配置选项和优化方案，...
Kafka: 找不到或无法加载主类 kafka.Kafka
何以清风
06-08 6708
大家在搭建kafka服务器的时候，可能会遇到如下情况： 错误: 找不到或无法加载主类 kafka.Kafka 出现这种情况有以下几种原因; 1.执行的路径有空格 D:\Program Files 如果放到这个目录下一定会出现问题的。 2.kafka文件夹下的\bin\windows\kafka-run-class.bat文件，第179行配置 修改前： set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %K
kafka运行错误：提示找不到或者无法加载主类错误解决方法
chy2z的专栏
06-05 6716
kafaka版本：kafka_2.11-1.1.0原因有2个：1  目录不能有空格   D:\Soft\kafka_2.11-1.1.0 ， 放在Program Files目录中一直有问题2  修改D:\Soft\kafka_2.11-1.1.0\bin\windows\kafka-run-class.bat 文件179行set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %...
Kafka 常见问题
机械工程跑路哥
07-14 2149
1.1. 用户分布式 有多个用户向服务器发起请求，一个请求就是一个线程，线程要分配栈空间，空间不够则增加服务器数量； 而用户请求的端口号是唯一的，多个服务器的端口号不一样，所以需要负载均衡器用来调度，用户向负载均衡器发起请求，负载均衡器根据服务器状态选择服务器； 而多个服务器之间的数据需要通信，进程是独立的，进程通信性能差，所以使用缓存服务器，将数据都存在缓存服务器，然后共享里面的数据，在内存中，性能好。 由于数据传输也要经过负载均衡器，使其负载大，所以使用注册中心Zookeeper； Zookeeper
kafka 检测应该创建却未被创建的topic
baidu_34810744的博客
05-24 439
使用readarray将文件内容读入数组。# 找出arr1中不在arr2中的元素。# 使用for循环遍历数组。# 读取结果到新数组。# 创建不存在的topic。
kafka启动、kafka查看、创建topic的命令
yrc_Note的博客
08-18 4万+
这里目前只是记录了我使用过的操作，所以并不完整。 一、kafka启动（linux环境） 1、单节点启动（非集群） （1）下载kafka安装包http://kafka.apache.org/downloads，我这里下载的是kafka_2.11-2.3.0.tgz （2）解压（不需要安装，直接配置可用） tar -xzvfkafka_2.11-2.3.0.tgz （3）对于单节点kaf...
Centos上Kafka的搭建
养码一生
03-26 300
今天记录下Kafka的使用,截取下官网上的一段话 “Apache Kafka® is a distributed streaming platform”，kafka是一个分布式流媒体平台。下图是来自kafka官方的一些介绍和说明。 流媒体平台有三大主要功能： 发布和订阅的记录，类似于一个消息队列或企业邮件系统流。 存储流的容错耐用的方式记录。 记录过程流，因为...
Linux下kafka集群配置安装
lucklydog123的博客
01-06 652
写在最前 由于kafka的启动依赖zookeeper，所以在此之前首首先需要安装号zookeeper集群并可以成功启动， 一.下载kafka的包 先去镜像网站下载kafka对应版本的jar包，apache安装包镜像网站 然后上传到Linux中解压，并使用xsnyc命令将其分发到集群的其他节点的机器中 xsync kafka/ 进入到config目录下，修改kafka的安装配置 vim server.properties 主要修改broker.id，log.dirs=/opt/module/kafk
Linux安装Kafka，创建topic、生产者、消费者
qq_36397267的博客
11-22 2601
1.创建安装目录/usr/local/kafka。5.进入kafka-3.3.1-src目录。6.修改zookeeper配置。7.启动zookeeper。8.修改kafka配置。
Kafka集群搭建：Zookeeper配置详解
搭建完成后，你可以使用Kafka命令行工具（如`kafka-topics.sh`）来创建、管理主题，或者使用Kafka的生产者和消费者API进行消息的发布和消费。通过合理的配置和管理，Kafka集群将能够支持大规模的数据流处理和实时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值