CentOS6安装大数据软件（三）：Kafka集群的配置

最新推荐文章于 2024-11-06 11:12:27 发布
最新推荐文章于 2024-11-06 11:12:27 发布
阅读量722 收藏 1
点赞数
分类专栏： # 大数据环境搭建 文章标签： Kafka 大数据 apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_shibiao/article/details/100006128
版权

目录

0. 相关文章链接

1. Kafka集群的安装准备

1.1. 选择安装Kafka的版本

1.2. 下载并解压安装包

2. 查看目录及修改配置文件

2.1. 查看目录

2.2. 修改配置文件

3. 分发配置文件及修改brokerid

4. 启动Kafka集群

5. 测试kafka集群

5.1. 创建一个topic

5.2. 查看该kafka集群中的topic

5.3. 创建一个生产者

5.4. 创建一个消费者

6. 查看Kafka集群（需借助外部工具kafka-manager）

6.1. 上传Kafka-manager安装包并且解压

6.2. 修改配置文件

6.3. 启动服务

6.4. 制作一键启动脚本

6.5. kafka-manager的使用

6.5.1. 添加Cluster

6.5.2. 在kafka-manager界面查看各主键的信息

0. 相关文章链接

CentOS6安装大数据软件（一）：Linux基础软件的安装

CentOS6安装大数据软件（二）：Hadoop分布式集群配置

CentOS6安装大数据软件（三）：Kafka集群的配置

CentOS6安装大数据软件（四）：HBase分布式集群的配置

CentOS6安装大数据软件（五）：Flume安装与配置

CentOS6安装大数据软件（六）：Hive安装和配置

CentOS6安装大数据软件（七）：Hue大数据可视化工具安装和配置

CentOS6安装大数据软件（八）：Spark集群安装和部署

CentOS6安装大数据软件（九）：大数据及相关软件启动等命令

1. Kafka集群的安装准备

1.1. 选择安装Kafka的版本

由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。
其中2.11是推荐版本。

1.2. 下载并解压安装包

解压文件，删除之前的的安装记录，并重命名

tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
cd /export/servers/
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
mv kafka_2.11-1.0.0 kafka

2. 查看目录及修改配置文件

2.1. 查看目录

2.2. 修改配置文件

进入配置目录，查看server.properties文件
可以通过cat server.properties |grep -v "#"目录过滤掉带有#的注释行数
修改三个地方
1）Borker.id
2）数据存放的目录，注意目录如果不存在，需要新建下。
3）zookeeper的地址信息

# broker.id 标识了kafka集群中一个唯一broker。
broker.id=0

# 存放生产者生产的数据 数据一般以topic的方式存放
# 创建一个数据存放目录 /export/data/kafka  ---  mkdir -p /export/data/kafka
log.dirs=/export/data/kafka

# 配置zk的信息
zookeeper.connect=zk01:2181,zk02:2181,zk03:2181

3. 分发配置文件及修改brokerid

将修改好的配置文件，分发到其他服务器上。
注意：如果在其他服务器上原先安装过kafka，需先删除以往的安装记录。

rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka

分发安装包：

scp -r /export/servers/kafka/ node02:/export/servers/
scp -r /export/servers/kafka/ node03:/export/servers/

修改其他服务器上的broker.id

4. 启动Kafka集群

cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties

5. 测试kafka集群

5.1. 创建一个topic

kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic my-kafka-topic

#执行结果：
Created topic "my-kafka-topic".

参数说明：

  •  zookeeper：参数是必传参数，用于配置 Kafka 集群与 ZooKeeper 连接地址。至少写一个。
  •  partitions：参数用于设置主题分区数，该配置为必传参数。
  •  replication-factor：参数用来设置主题副本数 ，该配置也是必传参数。
  •  topic：指定topic的名称。

5.2. 查看该kafka集群中的topic

kafka-topics.sh --list --zookeeper node01.ouyang.com:2181

__consumer_offsets
my-kafka-topic

5.3. 创建一个生产者

bin/kafka-console-producer.sh --broker-list node01.ouyang.com:9092,node02.ouyang.com:9092,node02.ouyang.com:9092 --topic test

5.4. 创建一个消费者

bin/kafka-console-consumer.sh --zookeeper node01.ouyang.com:2181,node02.ouyang.com:2181,node03.ouyang.com:2181 --topic test --from-beginning（老版本）
bin/kafka-console-consumer.sh --bootstrap-server node01.ouyang.com:9092,node02.ouyang.com:9092,node03.ouyang.com:9092 --topic test --from-beginning（新版本）

6. 查看Kafka集群（需借助外部工具kafka-manager）

Kafka Manager 由 yahoo 公司开发，该工具可以方便查看集群 主题分布情况，同时支持对 多个集群的管理、分区平衡以及创建主题等操作。
源码托管于github：https://github.com/yahoo/kafka-manager

6.1. 上传Kafka-manager安装包并且解压

tar -xvf kafka-manager-1.3.3.17.tar.gz -C /export/servers/
cd /export/servers/kafka-manager-1.3.3.17/conf

6.2. 修改配置文件

/kafka-manager/conf下的application.conf文件
#在配置文件中新增如下配置，http访问服务的端口
http.port=19000
#修改成自己的zk机器地址和端口
kafka-manager.zkhost1s="node01:2181"
#保存退出

6.3. 启动服务

cd /export/servers/kafka-manager-1.3.3.17/bin
./kafka-manager -Dconfig.file=../conf/application.conf

6.4. 制作一键启动脚本

步骤一：配置该文件夹的环境变量和一键启动文件的环境变量
export KAFKA_MANAGE_HOME= /export/servers/kafka-manager
export PATH=${KAFKA_MANAGE_HOME}/bin:$PATH
export PATH=${ZK_ONEKEY}/kafka-manager:$PATH
步骤二：编写一键启动脚本
vim startkafkamanager.sh
nohup kafka-manager -Dconfig.file=${KAFKA_MANAGE_HOME}/conf/application.conf >/dev/null 2>&1 &
chmod +x start-kafka-manager.sh
步骤三：重新加载环境变量，并一键启动
source /etc/profile
startkafkamanager.sh
步骤四：检查是否启动成功
打开浏览器，输入地址：http://node01:19000/，即可看到kafka-manage管理界面。

6.5. kafka-manager的使用

6.5.1. 添加Cluster

进入管理界面，是没有显示Cluster信息的，需要添加后才能操作。

　　　　1. 添加 Cluster：

　　　　　　

　　　　2. 输入Cluster Name、ZooKeeper信息、以及Kafka的版本信息（这里最高只能选择1.0.0）。

　　　　　　

　　　　3. 点击Save按钮保存。

　　　　　　

6.5.2. 在kafka-manager界面查看各主键的信息

　　　　1. 查看kafka的信息

　　　　　　

　　　　2. 查看Broker信息

　　　　　　

　　　　3. 查看Topic列表

　　　　　　

　　　　4. 查看单个topic信息以及操作

　　　　　　

　　　　5. 优化副本选举

　　　　　　

　　　　6. 查看消费者信息

　　　　　　

电光闪烁
关注
专栏目录
HDP2.5.0大数据HA集群在centos7.0下的安装配置
02-27
按照文档操作可安装7个节点的大数据集群，包括hadoop,hive,hbase,spark,tez,flume,kafka等等，自动化运维部署及监控，日志查询等功能
CentOs 6.5安装Kafka集群步骤
wangjianfengnb
07-03 1240
CentOs 6.5安装Kafka集群步骤 每台机器的环境 CentOs 6.5 Java 1.7+ Zookeeper 三台虚拟机的ip地址为： 192.168.31.224 192.168.31.225 192.168.31.226 安装Scale 在Scala下载页面下载最新的包,截止2018年07月03日15:01:04最新版本为 scala-2.12.6.tgz 上传文...
CentOS6.5安装kafka2
brushli的专栏
08-13 275
1.安装JDK8 1.1 下载JDK https://download.csdn.net/download/qq_35981283/10655412 jdk-8u131-linux-x64.rar解压后获得jdk-8u131-linux-x64.rpm [root@localhost local]# rpm -ivh --prefix=/local jdk-8u131-linux-x6...
CentOS7.6安装和配置Kafka集群（三个节点，亲测通过）
baiyunxiaoxiao_chen的博客
07-09 959
三个节点规划如下（实验环境与ZK Server一致，实际生产环境需要独立部署在不同的实际服务器或Docker容器）： Master: 192.168.1.201 Slave1:192.168.1.33 Slave2:192.168.1.203 Zookeeper版本：zookeeper-3.4.12 Kafka版本：kafka_2.12-2.3.0 安装配置步骤： 1.安装配置zookeeper集群（三个节点） 详细步骤见前一篇文章，地址：https://mp.csd...
centos6.5中kafka集群搭建
path blog
05-25 1069
前提条件：安装好java配置好环境变量、zookeeper集群（3台服务器）10.1.32.85 hadoop710.1.32.193 hadoop810.1.32.161 hadoop91、下载kafka的安装包cd home/hadoop/app/wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tg...
Centos6.x Kafka集群部署
技术成就梦想
09-03 405
一、安装及配置(JDK、3台服务器都是需要安装） 1、卸载原有JDK yum -y remove java 2、创建用户 useradd kafka 3、安装及配置 tar -xvf jdk-8u181-linux-x64.tar.gz chown -R kafka.kafka jdk1.8.0_181 mv jdk1.8.0_181 /usr/local/jdk 4、设置环境变量 su ...
Linux下Kafka分布式集群安装教程
09-15
在完成单个Kafka Broker的安装配置后，需要在三台不同的服务器上分别部署Kafka进程，形成一个完整的Kafka集群。对于每个Broker节点，都需要重复上述的安装配置步骤，并确保`server.properties`文件中的`broker.id`、...
大数据平台Kafka组件应用研究说明书
11-22
- **代理（Broker）**：Kafka集群中的服务器，负责存储和转发消息。 - **ZooKeeper**：Kafka依赖于ZooKeeper来管理集群元数据，如主题配置、分区状态等。 ##### 参考资料 - Apache Kafka官方网站：...
kafka-2.11-2.4.1安装包以及linux(centos7)安装kafka-2.11-2.4.1详细文档
04-18
2. **zookeeper.connect**: ZooKeeper的连接字符串，用于协调Kafka集群。 3. **log.dirs**: 日志数据存储的位置，例如 `/usr/local/kafka/data`。 4. **listeners**: 定义Kafka服务器监听的网络接口和端口，如 `...
大数据集群安装须知
11-27
### 大数据集群安装须知 #### Linux防火墙配置与Kafka集群搭建 **一、CentOS 7防火墙管理**...通过对防火墙配置的理解与Kafka集群的搭建，我们可以更有效地管理和利用大数据资源，实现高效的业务逻辑处理与数据分析。
CentOS6.5 安装Kafka集群
weixin_33698043的博客
05-17 137
1、安装zookeeper 参考文档：http://www.cnblogs.com/hunttown/p/5452138.html 2、下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tgz kafka_2.10-0.9.0.1.tgz       #2.10指的中Scala版本，...
Kafka之——在CentOS上安装Kafka集群
冰河的专栏
02-12 1135
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79315878安装准备版本Kafka版本：kafka_2.11-0.9.0.0Zookeeper版本：zookeeper-3.4.9Zookeeper 集群：liuyazhuang121 liuyazhuang122 liuyazhuang123Zookeeper集群的搭建参见：《S...
kafka安装配置教程（centos6.5）
xin17865195971的博客
08-16 526
1.下载kafka的安装包   下载地址(我下载的版本是kafka_2.11-10.0） 2.解压缩   tar -zxvf kafka_2.11-1.0.0  3.kafka的配置  kafka需要配置zookeeper,如果你本身没有配置zookeeper的话，kafka自带一个zookeeper，用于运行。 修改server.properties    broker-id =0 ...
在Centos6或者7上安装Kafka最新版
a616735104的博客
07-02 156
一、官网 　　http://kafka.apache.org/downloads.html 二、Kafka简介 　　Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键...
CentOS6.8---大数据集群搭建
qq_40745994的博客
07-07 466
CentOS6.8—大数据集群搭建 1.1 工具版本 虚拟机软件：VMware12 客户端软件：SecureCRT8.5 服务器：CentOS6.8 英文、基础服务版 软件版本： hadopp-2.7.2 zookeeper-3.4.10 1.2 模板机配置 1.2.1 关闭SELinux vim /etc/selinux/config 修改 SELINUX=disabled 1.2.2 修改网络配置种的MAC地址 vim /etc/sysconfig/network-scripts/ifcfg-eth
CentOS搭建Hadoop分布式集群详细步骤和常见问题解决
csdn问鼎
11-27 1219
花了好长时间终于把集群搭建起来了，写出来给大家分享下，让大家少走点弯路。 首先我们来看看成功后的效果，三个结点成功运行wordcount这个程序结果，运行出结果 计算出来的结果图 3.实验准备 虚拟机里3台拥有CentOS6.4操作系统的计算机 hadoop-2.5.2.tar.gz安装包 jdk-8u111-linux-x64.tar.gz安装包 三台电脑要有相同的安装目录，放
数据治理项目怎么做，3种推进思路可参考
esensoft123的博客
11-06 550
因此，即使有些人认为先建大数据平台而暂时无法实现业务支撑或应用分析是无效的，但实际上，在建设平台的过程中，企业的能力已经在逐步提升。因此，在做项目时，我们必须与最终用户达成一致，明确项目的定义和规划。先做数据治理顶层设计的规划，确定战略目标，进而拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径，即每个阶段要建设的项目及其目标。这种方式的优点显而易见：它确保了项目有明确的规划和方向，从面到线，再到点，逐步落实，从而最大程度地保证了项目的成功，减少了无用功和重复建设。
【零基础小白】 window环境下安装RabbitMQ
最新发布
许苑向上
11-06 246
RabbitMQ是用编写的，因此在安装RabbitMQ之前，需要先安装Erlang环境。确定Erlang版本：根据具体需求以及安装符合的Erlang版本。本文下载的故而下载Erlang版本之间的，打开系统属性：右键点击“此电脑”或“计算机”图标，选择“属性”，然后点击“高级系统设置”。编辑环境变量：在“系统属性”窗口中，点击“环境变量”按钮。编辑Path变量：同样在“系统变量”区域，找到名为Path的变量并选择它，然后点击“编辑”按钮。
牛客网项目总结
qq_43539664的博客
11-04 284
下面这幅图是牛客网项目的架构图，最下层是Spring Boot，表示我们所有的技术都是基于Spring Boot，上面一层是Spring，Spring上面是Spring MVC、Spring MyBatis 和 Spring Security。数据库访问的问题，通过Spring Security来管理我们项目中的安全层面的这个内容来管理我们项目中的权限，这三个技术都是基于Spring之上的。由Spring进行整合。通过Spring MVC 解决前后端请求交互的问题，通过Spring MyBatis解决。
CentOS7环境下Kafka集群安装及操作指南
"该文档详细介绍了在CentOS7操作系统上安装和配置Apache Kafka集群的步骤。Kafka是一个分布式流处理平台，常用于大数据实时处理和消息传递。在 CentOS7环境下，首先需要准备三台服务器，并确保每台服务器的主机名与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

电光闪烁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值