Linux基础环境搭建（CentOS7）- 安装Kafka

最新推荐文章于 2024-03-30 09:59:13 发布
最新推荐文章于 2024-03-30 09:59:13 发布
阅读量4.1w 收藏 8
点赞数 6
分类专栏： 笔记 Centos集群搭建 Kafka 文章标签： 大数据 kafka hadoop linux java
JohnZhuang666
本文链接：https://blog.csdn.net/weixin_47580081/article/details/108672092
版权
笔记 同时被 3 个专栏收录
35 篇文章 8 订阅
订阅专栏
Centos集群搭建
10 篇文章 2 订阅
订阅专栏
Kafka
1 篇文章 0 订阅
订阅专栏

Linux基础环境搭建（CentOS7）- 安装Kafka

大家注意以下的环境搭建版本号，如果版本不匹配有可能出现问题！

Linux基础环境搭建（CentOS7）- 虚拟机准备
Linux基础环境搭建（CentOS7）- 安装JDK
Linux基础环境搭建（CentOS7）- 安装Hadoop
Linux基础环境搭建（CentOS7）- 安装Zookeeper
Linux基础环境搭建（CentOS7）- 安装Kafka
Linux基础环境搭建（CentOS7）- 安装HBase
Linux基础环境搭建（CentOS7）- 安装Scala和Spark
Linux基础环境搭建（CentOS7）- 安装Mysql和Hive
Linux基础环境搭建（CentOS7）- 安装Sqoop
Linux基础环境搭建（CentOS7）- 安装Flume

一、Kafka下载及安装

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

在这里插入图片描述

Kafka的下载

kafka下载链接：https://pan.baidu.com/s/1MykjKEqhqei1dgOAL2I_lg

提取码：4ohb

将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中

Kafka的安装

创建工作路径/usr/kafka，下载kafka安装包到/opt/software中，然后解压至工作路径。

mkdir /usr/kafka		#创建工作路径
cd /opt/software		#进入安装包的文件夹
tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/kafka		#解压kafka

二、配置Kafka组件

1.server.properties

首先创建一个log文件夹存放日志文件，然后修改server.properties配置文件

mkdir /usr/kafka/kafka_2.11-0.11.0.0/logs
vim /usr/kafka/kafka_2.11-0.11.0.0/config/server.properties

修改如下：

#broker的全局唯一编号，不能重复
broker.id=0		#需要操作，每台机器id号不一样
#删除topic的功能使能
delete.topic.enable=true	#需要操作
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接受套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/usr/kafka/kafka_2.11-0.11.0.0/logs		#需要操作
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数量的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超过将被删除
log.retention.hours=168
#配置zookeeper集群地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181		#需要操作

三、配置Kafka环境变量

vim /etc/profile

在这里插入图片描述

export KAFKA_HOME=/usr/kafka/kafka_2.11-0.11.0.0/
export PATH=$PATH:$KAFKA_HOME/bin

主节点生效环境变量

source /etc/profile

四、同步其他虚拟机

scp -r /etc/profile root@slave1:/etc/profile	#将环境变量profile文件分发到slave1节点
scp -r /etc/profile root@slave2:/etc/profile	#将环境变量profile文件分发到slave2节点
scp -r /usr/kafka root@slave1:/usr/kafka		#将kafka文件分发到slave1节点
scp -r /usr/kafka root@slave2:/usr/kafka		#将kafka文件分发到slave1节点

生效两个从节点的环境变量

source /etc/profile		#slave1和slave2都要执行

修改两个从节点的server.properties文件

master的broker.id为0，slave1的broker.id为1，slave2的broker.id为2（确保三台服务器的broke.id不同）

vim /usr/kafka/kafka_2.11-0.11.0.0/config/server.properties

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、启动\停止Kafka（三台机器）

先启动Zookeeper（三台机器）

由于kafka工作依赖于zookeeper，因此得先启动zookeeper，再启动kafka

cd /usr/zookeeper/zookeeper-3.4.10		#先进入zookeeper的目录
bin/zkServer.sh start		#三台机器启动zookeeper
bin/zkServer.sh status		#查看启动状态

master
在这里插入图片描述
slave1
在这里插入图片描述
slave2

在这里插入图片描述
通过上面状态查询结果可见，一个节点是Leader，其余的结点是Follower（Leader不一定是主节点，系统随机分配的），即zookeeper启动成功！

启动Kafka

/usr/kafka/kafka_2.11-0.11.0.0/bin/kafka-server-start.sh -daemon /usr/kafka/kafka_2.11-0.11.0.0/config/server.properties

停止Kafka

/usr/kafka/kafka_2.11-0.11.0.0/bin/kafka-server-stop.sh /usr/kafka/kafka_2.11-0.11.0.0/config/server.properties

查看进程

master
在这里插入图片描述

slave1
在这里插入图片描述

slave2
在这里插入图片描述

如果三台机器启动后，三台机器jps查看进程，均有Kafka进程则表明启动成功！

John Zhuang
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Linux CentOS 下kafka安装指南
Leoxiaogang的博客
07-02 908
Linux CentOS 下kafka安装指南，适合新手。
Linux环境下(Centos7) 下安装Kafka详细教程
m0_62044358的博客
04-23 1625
使用命令 vim conf/zoo.cfg 创建配置文件并打开,虽然文件夹下有了一个zoo_sample.cfg示例配置文件，我们还是新创建一个。此处的zookeeper版本可能已经失效了，同学们可在镜像网站内选择合适的zookeeper版本，然后以此命令替换掉 镜像源下载即可。如果此地址无法访问或者下载速度较慢，可自行网络寻找Kafka压缩包，虽然版本不一样但是安装命令是基本一致的。可以在上面两个地方选一个合适的镜像。
Linux下 kafka安装与配置详细教程（Centos）
qq_43312876的博客
10-18 1573
修改 /config目录下的 zookeeper.properties文件。修改 /config目录下的 server.properties文件。将下载好的kafka压缩包解压缩到 /usr/local目录下。参考 windows系统下kafka下安装及配置，操作相同。服务启动成功后就可以用demo测试消息发布/订阅的效果了。将解压后的文件名改成kafka。tar -zxvf 压缩包名。mv 文件名 修改后的文件名。进入kafka目录下。根据自身需要修改数值。进入kafka目录下。进入kafka目录下。
linux版本centos 系统安装 kafka
zhaomengxia123的博客
08-15 91
将安装包通过Xftp复制到虚拟机 通过shell命令解压改安装包 修改文件夹名字百年与使用 修改配置文件server.properties broker.id=1 //相当于zookeeper中的myid，id不能相同 port=9092 //默认值 host.name=slave1 //三台各不相同 zookeeper.connect=master:218...
Linux：【Kafka一】Centos7安装Kafka
叫我吕小布
09-12 600
https://kafka.apache.org/downloads，下载的是3.5.0：Scala 2.12 - kafka_2.12-3.5.1.tgz (asc, sha512)
Centos7下搭建kafka集群( 消息中间件集群 )
bug的博客
07-06 376
一、搭建kafka集群 ( 消息中间件集群 ) 1. kafka集群拓扑结构如下 2. 首先要保证zookeeper集群先启动，启动命令：zkServer.sh start 未安装zookeeper集群的小伙伴可参考我这篇博客，地址：https://blog.csdn.net/weixin_44422604/article/details/107145297 3. 下载kafka到node1节点/usr/local/目录下解压，配置环境变量 (1) 进入目录命令：cd /usr/local (2) 下载
linux平台centos7系统 - ELK+logback+kafka+nginx 搭建分布式日志分析平台.doc
03-23
【Linux平台CentOS7系统 - ELK+logback+kafka+nginx搭建分布式日志分析平台】 在复杂的IT环境中，日志管理和分析对于诊断问题、优化性能以及确保系统稳定性至关重要。ELK栈（Elasticsearch、Logstash、Kibana）正是...
kafka在centos7上搭建及springboot集成kafka的小demo用例
02-17
在本文中，我们将深入探讨如何在CentOS 7系统上搭建Apache Kafka，并通过Spring Boot进行集成，以便在分布式环境中实现消息传递。首先，我们需要确保具备一个支持Java的环境，因此开始时我们会设置JDK。 1. **JDK...
CentOS6.5下kafka＋ZooKeeper下载与安装详细教程-单机版
03-24
- 在`/usr/java`目录下新建路径，并解压`jdk-7u71-linux-x64.tar.gz`文件。 ```bash mkdir -p /usr/java tar -zxvf jdk-7u71-linux-x64.tar.gz -C /usr/java ``` 2. **配置环境变量** - 使用文本编辑器（如`...
CentOS7下搭建多节点Elasticsearch集群.docx
10-26
CentOS7 是一个流行的 Linux 发行版，搭建多节点 Elasticsearch 集群可以提供高可用性和高性能的搜索服务。下面是 CentOS7 下搭建多节点 Elasticsearch 集群的详细步骤和知识点。 知识点 1：Elasticsearch 集群...
CentOS7安装Kafka
09-03
CentOS7网络配置，安装JDK，安装Kafka，订阅发布以及测试
Kafka最新环境搭建
05-11
在Linux环境下搭建Kafka环境，从零开始，搭建JDK环境变量，Kafka环境变量到以及消费者等
一步一步教你如何在Centos7中配置Kafka运行时环境
三十三重天的博客
03-12 252
博客：http://www.zhouhuibo.club 通过学习和分享的过程，将自己工作中的问题和技术总结输出，希望菜鸟和老鸟都能通过自己的文章收获新的知识，并付诸实施。 引言 本文主要针对动态运行时的安装、配置及安装过程中的问题进行说明 。认真看完后记得收藏哦，一定会在你工作的某个时刻对你产生作用。 golang调用kafka第三方库后需要进行发布至Centos7上。在此之前我们需要配置好支持kafka的动态运行环境。 libdakafka github上的下载速度很慢，如果小伙伴有翻墙工具就使用吧.
(一)kafka实战——kafka源码编译启动
最新发布
厉害哥哥的博客
03-30 1614
本节内容是关于kafka消息中间键的源码编译，并通过idea工具实现kafka服务器的启动，使用的kafka源码版本是3.6.1，由于kafka源码是通过gradle编译的，以及服务器是通过scala语言实现，我们要预先安装好gradle编译工具和scala环境，同时需要安装scala依赖的java环境jdk17。
centos7系统安装kafka
码农崛起
08-16 3496
一、准备确保服务器上已经搭建完成JDK，zookeeper服务；
Centos7安装配置【kafka】【kafka-manager】【启动脚本】
on the way . . .
09-06 2343
Background kafka-manager（目前已更名为CMAK）是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。 我们这里一切从头开始安装。 此次jdk版本选用【jdk1.8.0_301】；JDK8官网下载地址。 此次Kafka的版本选用【kafka_2.12-2.4.1】；kafka官网下载地址。 Kafka-Manager的版本选用【kafka-manager-1.3.3.4】；kafka-manager官网下载地址。 这里给出安装包，
centos7系统超详细部署Kafka教程
高性价比服务器就选：蓝易云
08-01 1357
这是一个基本的CentOS 7系统部署Kafka的教程。根据您的需求，还有其他配置和调优步骤可以进行，例如设置集群、安全性设置和性能调优等。建议参考Kafka官方文档以获取更详细的指南和文档。部署Kafka是一项复杂的任务，涉及到多个步骤和配置。替换为您想要下载的Kafka版本，将。替换为Scala的版本，例如。替换为您希望创建的主题名称。
centos7 安装部署kafka
zaixiaqin的博客
12-13 2206
kafka 在centos7的单机部署，基本操作
Sqoop问题解决：运行警告Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/../hcatalog does not exist!
热门推荐
?
04-06 6万+
Sqoop问题解决：运行警告 报错信息： Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/…/accu
linux基础环境搭建centos7
06-28
### 回答1： CentOS 7是一款基于Linux的操作系统，用于服务器和桌面应用。它具有良好的稳定性、可靠性和安全性，因此在企业和个人使用中广泛受到青睐。搭建基础环境主要包括安装、配置和管理各种软件和服务，如Apache、MySQL、PHP、SSH等。此外，还需要了解和掌握Linux常用操作命令和文件系统基本知识，以保证系统的正常运行和安全。 ### 回答2： Linux是一种开源的操作系统，因为其稳定性、安全性、高效性和灵活性等特点，被广泛应用于各种软件开发、服务器管理、数据分析等领域。在Linux中，CentOS是一种比较常见的版本之一，为了使用CentOS，我们需要对基础环境进行搭建，下面是对CentOS7基础环境搭建的简单介绍。 1. 下载CentOS 7的ISO镜像文件 在网站上下载CentOS7的ISO镜像文件，下载后可以刻录到光盘或者U盘上安装。也可以直接使用虚拟机软件进行安装。 2. 安装CentOS 7 CentOS 7安装时，需要注意选择相应的软件包，包括Minimal(最小化安装)和Server with GUI(包含图形界面的服务器)，可以根据自己的需求来选择。 3. 设置网络 配置CentOS7的网络可以使用命令行或者图形界面进行配置，具体方法如下： ① 命令行方式：使用ifconfig命令或ip addr命令设置网络信息； ② 图形界面方式：在设置中找到网络，然后进行设置。 4. 更新系统 yum update可以更新系统的软件包。 5. 安装常用软件 安装一些常用的软件，例如: vim(文本编辑器), gcc(编译工具), cron(定时任务), wget(下载工具)等常用软件可以通过yum install来进行安装。 6. 安装LAMP环境 LAMP环境包括Linux、Apache、MySQL和PHP，可以通过yum命令来安装。 7. 配置防火墙 CentOS 7.0 默认开启了防火墙，在对服务器进行访问时防火墙可能会限制请求，可以使用firewalld来进行配置。 以上是对CentOS7基础环境搭建的简单介绍，了解这些方面的知识可以方便我们更好地使用CentOS，提高Linux的运用能力。 ### 回答3： CentOS是基于Linux内核的免费和开源服务器操作系统，它是一个强大而又稳定的操作系统，由于它的稳定性、可靠性和灵活性，在服务器领域被广泛使用。在CentOS7中，主要采用了systemd来管理系统服务，通过systemd可以更方便地管理和控制系统。 以下是CentOS7基础环境搭建的步骤： 一、安装CentOS7系统 首先，我们需要下载CentOS 7的安装镜像文件，然后可以使用U盘或者DVD刻录工具将安装镜像刻录到U盘或者DVD上。然后，我们需要在计算机中将U盘或DVD插入并启动计算机。如果计算机已经启动，可以将U盘或DVD插入，并重新启动计算机来进入安装界面。 在安装界面中，按照提示进行设置，如选择安装位置、设置密码、安装软件包等。安装完成后，需要在启动时选择CentOS 7来启动。 二、安装必要的软件 安装一些旨在提高系统性能和功能的基本软件是基础环境的基本部分。这些软件包括：net-tools、vim、telnet、nmap等。可以通过以下命令来安装这些软件包： yum install net-tools yum install vim yum install telnet yum install nmap 安装完成后，可以进入vim来编辑文件，使用telnet测试服务器是否正常连接，使用nmap进行网络扫描等操作。 三、安装更新软件包 安装基本软件之后，可以使用以下命令来更新系统的软件包，以确保所有的软件包都是最新的： yum update 四、安装配置防火墙 CentOS7中默认安装了firewalld防火墙。在开启firewalld防火墙之后，需要在防火墙中添加允许的端口，否则可能会阻止某些服务（如SSH）的访问。 可以使用以下命令来启动并配置防火墙： systemctl start firewalld.service #启动防火墙 systemctl enable firewalld.service #开机自启动防火墙 firewall-cmd --zone=public --add-port=80/tcp --permanent #添加端口80 firewall-cmd --zone=public --add-port=22/tcp --permanent #添加端口22 firewall-cmd --reload #重启防火墙 以上命令将80端口和22端口添加到防火墙中，并且重启防火墙以使更改生效。 五、设置NTP同步时间 在使用计算机时，时间同步是非常重要的。我们可以使用NTP（网络时间协议）来同步时间。CentOS7默认安装了chrony，它是一种轻量级的NTP客户端。使用以下命令可以启动chrony，并将其设置为自动同步时间： systemctl start chronyd.service #启动chrony systemctl enable chronyd.service #开机自启动chrony 六、设置SELinux CentOS7默认启用的SELinux是一种安全加固功能，它有助于保护系统。需要在nic慎重考虑后进行禁用或更改。如果确定要禁用，请使用以下命令： vi /etc/selinux/config #编辑SELinux设置文件 SELINUX=disabled #禁用SELinux systemctl stop firewalld.service #停止防火墙服务（由于SELinux启用会影响防火墙） 以上是CentOS7基础环境的搭建步骤。长期以来，CentOS7已经成为了许多人的首选操作系统，因为它稳定、可靠、安全。通过这些基础环境，用户可以更方便地提高系统的性能和功能，并为后续的安装和配置打下基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

John Zhuang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值