二、Kafka环境搭建 & Topic管理

最新推荐文章于 2024-09-07 17:17:49 发布
最新推荐文章于 2024-09-07 17:17:49 发布
阅读量443 收藏
点赞数
分类专栏： Kafka 文章标签： linux kafka 大数据 zookeeper centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d749800796/article/details/108794015
版权
本文详细介绍了如何在CentOS 6.10上进行Kafka的单机安装和集群搭建，包括JDK配置、Zookeeper安装、Kafka配置、防火墙关闭、主机名与IP映射等步骤，并展示了创建、管理Topic，以及生产者和消费者的使用方法。
摘要由CSDN通过智能技术生成
Kafka单机安装
  • 安装JDK1.8+，配置JAVA_HOME (CentOS 6.10 64bit)
  • 配置主机名和IP映射
  • 关闭防火墙&防火墙开机自启动
  • 安装&启动Zookeeper
  • 安装&启动|关闭Kafka

1.下载zookeeper安装资源：
https://zookeeper.apache.org/releases.html
在这里插入图片描述

2.下载kafaka安装资源：
http://kafka.apache.org/downloads
在这里插入图片描述

3.上传资源到虚拟机：
在这里插入图片描述

4.安装jdk：rpm -ivh jdk-8u191-linux-x64.rpm
在这里插入图片描述

5.查看系统中安装的jdk：rpm -qa|grep jdk
在这里插入图片描述

6.配置java环境变量：
在这里插入图片描述

在这里插入图片描述

7.设置主机名，并重启：vi /etc/hostname
在这里插入图片描述

8.配置主机名和IP映射：vi /etc/hosts
在这里插入图片描述

在这里插入图片描述

9.测试是否设置成功：ping CentOS
在这里插入图片描述

10.禁用防火墙：
systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl status firewalld.service
在这里插入图片描述

11.解压zookeeper安装包：tar -zxf zookeeper-3.4.6.tar.gz

最低0.47元/天 解锁文章
我要花开丶
关注
专栏目录
kafka环境搭建
Terisadeng的博客
05-12 664
一、安装环境要求 1、安装java Kafka和zoopeeper都需要安装java环境，且推荐至少java7及以上版本’ 2、安装zookeeper Zookeeper是kafka集群的必要组件，kafka安装包已经集成了zookeeper，这里选择单独安装zookeeper 3、安装kafka Kafka版本包括使用的scala语言版本和kafka版本，不同版本功能区别还是很大的，...
kafka集群搭建&zookeeper集群搭建
zry625的博客
10-22 576
1.安装准备 jdk-8u162-linux-x64.tar zookeeper-3.4.12.tar.gz kafka_2.11-2.0.0 .tgz 2.准备至少三台虚拟机 192.168.196.128 192.168.196.131 192.168.196.132 3.Java环境安装 （略…自行百度） 4.搭建zookeeper集群 在每台主机下执行以下步骤： 移动至/usr/local下： mv zookeeper-3.4.12.tar.gz /usr/local 解压，重命名： tar -z
Windows平台kafka环境的搭建
热门推荐
头发凌乱的小博客
04-19 2万+
注意：请确保本地Java环境变量配置成功1.安装Zookeeper Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper 1.1 下载安装文件： http://mirror.bit.edu.cn/apache/zookeeper/ 1.2 解压文件（本文解压到 D:\zookeeper-3.4.8）
Kafka原理剖析之「Topic创建」
最新发布
sjzsylkn的专栏
09-07 1901
Kafka提供了高性能的读写，而这些读写操作均是操作在Topic上的，Topic的创建就尤为关键，其中涉及分区分配策略、状态流转等，而Topic的新建语句非常简单--bootstrap-server localhost:9092 \ // 需要写入endpoints--create --topic topicA // 要创建的topic名称--partitions 10 // 当前要创建的topic分区数。
KAFKA环境搭建
chuanchenyi的博客
05-13 2852
1.kafka环境搭建： kafka是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础，具有高水平扩展和高吞吐量。 （1）zookeeper环境部署： kafka是由zookeeper管理的，那么kafka的部署需要在zookeeper安装好之后进行。 安装zookeeper到指定的目录里： tar -zxvf zookeeper-3.4.8.tar.gz mv zookeep
Kafka的环境搭建
sjw2020的博客
05-27 402
Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 **Kafka是一个分布式消息队列：生产者、消费者的功能。**它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。 Kafka对消息保存时根据Topic进行归类，发送消息者称为P
Linux启动/停止/重启Mysql数据库的方法
Shanks
10-20 163
以下内容转载自https://www.cnblogs.com/linjiqin/p/3544472.html 1、查看mysql版本 方法一：status; 方法二：select version(); 2、Mysql启动、停止、重启常用命令 a、启动方式 1、使用 service 启动： [root@localhost /]# service mysqld start (5.0版本是mysqld) [root@szxdb etc]# service mysql start (5.5.7版本是mysql.
Kafka系列-1、kafka环境搭建
不积跬步无以至千里，不积小流无以成江河
12-15 1855
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 kafka的中文网站 目录搭建Kafka集群目录结构分析kafka一键启动/关闭脚本 搭建Kafka集群 1、将Kafka的安装包上传到虚拟机，并解压 cd /export/software/ tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/ cd /export/server/kafka_2.12-2.4.1/ 2、修改 server.pr
kafka 集群环境搭建 java
后知后觉
04-03 1223
简单记录下kafka集群环境搭建过程， 用来做备忘录 安装 第一步： 点击官网下载地址 http://kafka.apache.org/downloads.html 下载最新安装包 第二步： 解压 tar xvf kafka_2.12-2.2.0.tgz 第三步： 检查服务器有没有安装zookeeper集群， 没有的话，自行百度补充 第四步：修改config/server.propertie...
Kafka如何创建topic？
weixin_33858336的博客
09-30 1625
　　Kafka创建topic命令很简单，一条命令足矣：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test     　　这条命令会创建一个名为test的topic，有3个分区，每个分区需分配3个副本。那么在这条命令之后Kafka又做了什么...
Kafka集群的搭建
LBJ_小松鼠的博客
01-09 299
1. Kafka数据模型 2. 搭建Kafka集群 1.将Kafka的安装包上传到虚拟机，并解压 cd /export/software/ tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/ cd /export/server/kafka_2.12-2.4.1/ 2.修改 server.properties cd /export/server/kafka_2.12-2.4.1/config vim server.properties # 指定broker
Kafka环境搭建
m0_75227189的博客
04-18 180
适用于学者
Kafka环境搭建与基本概念解析
在Windows环境下搭建Kafka，通常采用预编译的二进制包： 1. **下载Kafka**：从Apache Kafka官网下载适用于Windows的zip文件。 2. **解压并配置环境变量**：将Kafka的bin目录添加到系统的PATH环境变量中。 3. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值