云服务器搭建kafka的坑

最新推荐文章于 2024-08-12 09:30:19 发布
最新推荐文章于 2024-08-12 09:30:19 发布
阅读量1k 收藏 4
点赞数 1
文章标签： kafka zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45075077/article/details/100767734
版权
本文档详细介绍了如何在三台云主机上搭建Kafka集群，包括集群配置、Kafka服务器和生产消费者的内存分配。在配置过程中，提到了因版本兼容性选择Kafka版本，并在启动时遇到的元数据更新失败和批次创建时间过长的错误，给出了可能的原因及解决方案。通过Zookeeper同步topic元数据，并展示了创建、查看、生产和消费消息的步骤。
摘要由CSDN通过智能技术生成

集群配置

三台云主机搭建hadoop集群，zookeeper服务、Hbase、kafka。

节点 服务
node002 namenode,datanode,zkFC,zookeeper,HMaster ,HRegionServer,kafka Server
node003 namenode,datanode,zkFC,zookeeper,HMaster ,HRegionServer,Kafka Producter
node004 ,datanode,zookeeper,kafka ,HMaster ,HRegionServer,Kafka Consumer

kafka Server 启动内存最高256，最低128，Producter与Consumer都是128M这样分配下来2G内存只剩下了500m左右，因为后面还要启动sparkStructed Streaming。

kafka 配置

安装

因为前面搭建hadoop,hbase,hive吃过不少版本兼容的亏，所以在下载前确定了一下当前的版本。因为kafka主要是搭配sparkSQL使用，所以首先通过spark的兼容，打开github的spark项目的pom文件得到看到kafka的版本<<module>external/kafka-0-10-token-provider</module> <module>external/kafka-0-10</module> <module>external/kafka-0-10-assembly</module>

最低0.47元/天 解锁文章
苍鹰嘉措
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1分钟带你玩转Kafka
middleware2018的博客
05-10 761
说起Kafka，许多使用者对它是又爱又恨。Kafka是一种分布式的、基于发布/订阅的消息系统，其极致体验让人欲罢不能，但操心的运维、复杂的安全策略、可靠性易用性的缺失、算不上极致的性能发挥、并不丰富的消息服务功能，仍需要使用者付出诸多的背后工作。即使你是Kafka老手，也难免会有上述同样的烦恼。 与其整日操心Kafka的部署，不如试试云上Kafka带给你的惊喜？目前国内主流的云服务厂商均提供了云上...
云服务器搭建kafka伪分布式环境
TRX的博客
04-03 307
背景 最近在学习kafka，准备在自己租的云服务器上搭建kafka伪分布式集群，做一些笔记，记录一些踩到的坑。。。 准备 1、jdk1.8 2、zookeeper-3.4.5.tar.gz 3、kafka_2.11-0.11.0.3.tgz 说明： jdk没什么好说的，使用zookeeper是因为我们搭建的kafka集群会有很多个结点（broker），我们将这些broker托管給zookeeper...
云服务器(Linux)安装部署Kafka
wssc的博客
11-14 1277
kafka的安装需要依赖于jdk，需要在服务器上提前安装好该环境，这里使用用jdk1.8。
仅作笔记用：云服务器初始化kafka
wujiuqier的博客
05-07 247
本地机器（Git Bash） scp ./jdk-8u91-linux-x64.tar.gz root@公网IP:/root scp ./kafka_2.12-2.2.0.tgz root@公网IP:/root 云服务器登录后 tar zxvf jdk-8u91-linux-x64.tar.gz mv jdk1.8.0_91 /opt/java JAVA_HOME=/opt/java PATH...
多云服务器kafka环境搭建并接收flume日志数据
pengpengsays
05-04 518
前言如果看过博主之前的文章，也可以了解到我正在搭建一个大数据的集群，所以花了血本弄了几台服务器。终于在flume将日志收集到日志主控flume节点上后，下一步要进行消息队列的搭建了。中间遇到过很多坎坷和坑，下面就为大家讲解一下搭建过程和注意事项，最终的成果是kafka搭建成功并接受flume主控传来的数据。环境服务器：CentOS7.2JDK: jdk1.8.0_161flume: apache-...
云服务器Centos7搭建kafka集群
u012200494的博客
10-15 167
云服务器Centos7搭建kafka集群 一、准备工作 这里使用kafka自带的zookeeper进行集群搭建，jdk版本要求1.8以上 kafka_2.13-3.0.0.tgz https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz 设置jdk环境变量 vim /etc/profile export JAVA_HOME=/home/jdk-11 export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/
【环境部署】华为云ECS安装Kafka消息队列
热门推荐
黑白猿的琐碎日常
03-12 1万+
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理...
阿里云单服务器kafka伪集群搭建
qq_40059536的博客
12-11 1605
下载并解压kafka （前提是安装并配置好jdk环境变量，原因是kafka依赖于zookeeper,而zookeeper使用java编写，kafka使用scala编写都需要JVM运行环境） kafka下载地址：http://kafka.apache.org/downloads zookeeper下载地址：https://zookeeper.apache.org/releases.html 注：自己是存放在/usr/local目录下 使用自带的简版zookeeper搭建zookeeper集群 （也可使用自
在linux中搭建kafka集群
08-18
以下是如何在Linux上搭建Kafka集群的详细步骤，主要围绕Zookeeper集群的配置和启动。 首先，你需要至少三台Linux服务器，因为Zookeeper集群通常由奇数台服务器组成，以确保在任何情况下都能保持多数节点的存活，...
kafka 简单使用（附阿里云kafka使用）
04-02
（阿里云kafka使用时需要结合阿里云提供的认证部分，另外上传文件时，阿里云kafka还在公测期间）；如果你够厉害，而且数据规模足够，可以使用storm+kafka，彼时kafka当然就不会这么简单的使用了。
spark-token-provider-kafka-0-10_2.12-3.0.0.jar
07-27
spark3.0.0版本对接kafka数据源需要的jar包，最新的版本导致maven的阿里云仓库不能直接下载下来，所以需要手动导入jar包进行操作，有需要的朋友可以免费下载
云服务器环境安装与配置：kafka集群
maoyuanming0806的博客
10-28 2002
本文详细说明kafka集群安装和命令行的基本使用 文章目录环境安装1，传包与解压2，创建log文件夹3，配置kafka4，分发配置好的kafka文件5，修改另两台文件中的broker.id值和host.name值6，启动kafka集群测试集群三台机器都使用jps命令检查命令行验证1 创建topic2 查看topic3 开启发送者（生产者）并发送消息4 开启消费者并接收消息[附录]操作完整流程 ...
阿里云服务器部署zookeeper集群+kafka集群
BrillianY的博客
01-21 788
阿里云部署zookeeper集群+kafka集群，遇到的问题及解决
zookeeper和kafka安装
qq_36079077的博客
05-02 125
1、zookeeper： https://www.cnblogs.com/expiator/p/9853378.html 2、kafka： https://www.cnblogs.com/expiator/p/9990171.html
华为云云耀云服务器L实例评测｜华为云上安装kafka
西京刀客
09-21 1455
Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发布订阅模式的消息引擎系统。
阿里云服务器——zookeeper搭建kafka集群
qian1696504877的博客
07-21 414
监听主机ip和端口，默认说是监听主机上的所有ip，最好就是如下配置，我百度看其他文章不同主机的话都是改成本机ip，但是我这里改成本机的话服务回起不来，一直提示无法建立broker，不知道什么原因。
如何在阿里云服务器上配置部署kafka
DreamsArchitects的博客
08-31 4913
在云服务器上配置部署kafka和zookeeper一、介绍二、打开防护墙端口2181、9092三、打开云服务器的端口四、修改Kafka的配置文件 一、介绍 同样将压缩包通过ssh工具上传到我们的云服务器上，解压即可。 zookeeper的配置是和本地服务器配置是一样的，具体请参考这篇文章CentOS7安装部署kafka和zookeeper，但是不同的是kafka的配置文件的修改。 二、打开防护墙端口2181、9092 firewall-cmd --zone=public --add-port=2181/tc
大数据-78 Kafka 集群模式 集群的应用场景与Kafka集群的搭建 三台云服务器
最新发布
永远好奇，无限进步！
08-12 5606
上节研究了Kafka的延时队列、重试队列。本节进入Kafka最后的环节，Kafka集群模式的搭建。多节点的Kafka集群搭建。Kafka的需要用户在由多个阶段组成的处理管道中处理数据，其中原始输入数据从Kafka主题中使用，然后进行汇总，充实或以其他方式转换为新主题，以供进一步使用或后续处理。Kafka提取文件的详细信息，并以日志的形式更清晰的抽象日志或事件数据，这允许较低的延迟的处理，并更容易支持多个数据源和分布式数据消耗。
kafka服务器搭建
09-21
为了搭建Kafka服务器，需要按照以下步骤进行操作： 1. 首先确保已经安装并启动了Zookeeper。 2. 下载并解压Kafka的二进制文件。 3. 在Kafka的配置文件中配置必要的参数，例如监听地址、日志目录等。 4. 启动Kafka服务器，可以使用命令`bin/kafka-server-start.sh config/server.properties`。 请注意，在配置文件中可以设置多个Kafka服务器实例，以创建一个Kafka集群。可以通过复制并修改原始配置文件来创建其他实例，确保每个实例的`broker.id`参数唯一，并在命令中指定新的配置文件路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值