CDH5.10 安装Kafka

最新推荐文章于 2023-05-12 19:33:32 发布
最新推荐文章于 2023-05-12 19:33:32 发布
阅读量401 收藏 1
点赞数
分类专栏： CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nszkadrgg/article/details/80229890
版权

官网地址

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html

下载2.2.0的版本

我用的是centos6就下载6的，三个文件都下载

下载好的文件以及路径

校验一下下载的文件是否是完整，如果不完整也会安装不成功

选择parcel，添加kafka的路径

保存以后会自动检测，点击download

然后每台机器分发

变为活动的，单机Activate，弹出对话框选择ok

点击Deactivate是会删除服务的，这一步不要做。

添加kafka的服务

选择kafka

kafka broker 我选择我安装的三台，其他的不用选

检查配置，其他的不要动

直接回车


一定要切记我们中kafka的信息是要干净的，磁盘满的时候要清空数据

下一步

报错，显示内存不足

选择kafka，添加内存

重新启动kafka的服务

启动成功

回到主界面


nszkadrgg
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH平台kafka配置文件以及相关操作
07-07
CDH大数据平台kafka配置文件以及相关操作
CDH kafka
winggyn的专栏
09-11 438
2、将上面的三个文件上传到该目录下，并将KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1重命名为KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha。在CDH上集成Kafka，要求用CDH上的Zookeeper管理Kafka。1、在/var/www/html/（http服务的默认目录）新建文件夹kafka_parcel。简要说明：例如kafka_2.11-2.2.1-kafka-4.1.0.jar。Kafka parcel**完成！
二十：CDH5.14离线安装kafka (含版本选择)
weizhonggui的博客
02-23 3414
一：当安装好CDH的hadoop后，准备安装kafka,可是CDH上添加服务是这样的，没法直接添加，需要添加相应包才可以： Apache Kafka is publish-subscribe messaging rethought as a distributed commit log. Before adding this service, ensure that either the Kafk...
读取topic，查看有哪些topic，删除topic,创建topic生产者
weixin_45762425的博客
12-13 1616
kafka-console-consumer --bootstrap-server localhost:9092 --topic three --from-beginning kafka-topics --list --zookeeper localhost:2181
cdh平台安装详细教程
热爱生活，忠于自己
10-23 1860
CDH Cloudera版本平台安装基本流程
CDH安装Kafka, 简称CDK安装（图解安装）
阿顾的博客
10-24 4505
文章目录一 下载包裹文件二 安装httpd三 对parcel进行分发和激活四 添加服务五 测试数据 一 下载包裹文件 http://archive.cloudera.com/kafka/parcels/4.1.0/ 创建下载的目录，并cd进去 mkdir kafka_parcel cd kafka_parcel 下载三个文件 wget http://archive.cloudera.com/k...
REDHAT7.2 安装 CDH5.10 和 Kudu1.2
09-07
REDHAT7.2 安装 CDH5.10 和 Kudu1.2,一步步完全教程，适合新手入门。
CDH卸载kafka重新安装出现的问题
01-08
一个不爽就把kafka暴力删除了，但是因为没有删除干净，导致在CDH内重新安装的时候出现错误，记录一下，估计很少有人遇到 卸载重新安装kafka出现分配失败，缺少json文件的错误，重启电脑，切换cloudera-scm用户，执行...
CDH 5.13.2集成 Kafka manager已编译(正式环境已测试)
05-05
sbt已经编译，正式环境编译好的kafka manager，可以直接用
大数据平台CDH6.2.0安装部署
10-27
大数据平台CDH6.2.0安装部署
CDH 离线安装kafka
邢宁
02-19 1334
一、安装准备 1、下载csd包 wget http://archive.cloudera.com/csds/kafka/KAFKA-1.2.0.jar 2、下载parcel包 wget http://archive.cloudera.com/kafka/parcels/2.1.1/KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel wget http://archive.cloudera.com/kafka/parcels/2.1.1/KAFKA-2.1.1-1.2.1.1.p0.1
修改通过CDH安装的Kafka和Zookeeper等组件的最大文件句柄数
Do
05-12 921
在CDH界面重启kafka、zookeeper等组件。
CDH6.3.2之Kafka配置和命令
ArYe
08-10 2790
如图示，每5分钟，日志清理程序 会根据日志保留策略 来清理符合删除条件的日志。：每个主题分区保留在日志中的数据量，设-1时无限制。创建，则消费者偏移量保存在ZooKeeper中。：点击具有Kafka服务的主机，然后点击组件。：日志保留时长，设-1时无限制，建议3天。创建，则消费者偏移量保存在Kafka中。会把主题以往所有数据都读取出来）建议给4~6G每个Broker。如果不知道CDH装哪，就把。可接收的单个消息的最大值（...
CDH中安装Kafka基本指令总结——topic使用与测试producer产生数据、consumer消费数据
JJBOOM425的博客
02-22 2881
这里主要总结一些我在CDH中安装的kafka测试的一些比较基础的指令。 一、相关基础内容 Kafka群集中的每个主机都运行一个称为代理的服务器，该服务器存储发送到主题的消息并服务于消费者请求。 首先先看服务器安装kafka的实例信息： 注意： 然后正常kafka的指令是 ：./bin/kafka-topics.sh --zookeeper cluster2-4:2181 .......
CDH集成Kafka
热门推荐
NeverGiveup54的专栏
01-19 1万+
参考CDH官网文档http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html 在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar
CDH5.14.X安装Kafka过程（Kafka版本选择的过程）
BigData_Mining的博客
06-29 1万+
CDH5.14安装Kafka过程：在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。注意集成之前请阅读官方文档，特别是版本支持方面。查看kafka与CDH版本对应：https://www.cloudera.com/...
CDH 安装Kafka服务的一些小问题
埋雷兽的博客
03-01 4991
一、第一个是比较普遍的问题，内存溢出刚开始配置时大家直接点击主页，离开页面即可。再在配置里修改java内存然后重启就行了二、配置broker.id 问题，可以直接在页面上改成一样的配置Configured broker.id 383 doesn't match storedbroker.id 120 in meta.properties.直接在相关实例的配置里修改三、这是提示添加白名单，在cm集群...
CDH安装Kafka
博客
12-02 2751
环境：三台机器（CentOS6.5） CDH：5.7.0 下载parcel包 CDH的parcel包中不含有Kafka，需要单独下载 http://archive.cloudera.com/kafka/parcels/ 在这里选择版本 对于不同的CDH版本，对应的Kafka版本也不同 官网给出的对应关系： 注意Kafka所对应的系统， EL6 is the download for Red H...
CDH5.10 添加kafka服务
阿正的博客
03-28 1089
https://www.cnblogs.com/lenmom/p/9157087.htmlCDH5.10 添加kafka服务 https://www.jianshu.com/p/bd17e2005284CDH集群添加kafka https://blog.csdn.net/weixin_39778085/article/details/79408035CDH 安装Kafka服务的一些小问题...
CDH安装kafka配置
最新发布
10-14
CDH安装Kafka配置步骤如下： 1. 下载Kafka安装包并解压缩到指定目录。 2. 修改Kafka配置文件config/server.properties，主要修改以下参数： - broker.id：每个Kafka节点的唯一标识，需要在集群中保证唯一。 - listeners：Kafka监听的地址和端口号，需要根据实际情况进行修改。 - log.dirs：Kafka存储数据的目录，需要根据实际情况进行修改。 - zookeeper.connect：Zookeeper的地址和端口号，需要与Zookeeper集群保持一致。 3. 启动Kafka服务，可以使用以下命令： ``` bin/kafka-server-start.sh config/server.properties ``` 4. 创建Kafka主题，可以使用以下命令： ``` bin/kafka-topics.sh --create --zookeeper <zookeeper_host>:<zookeeper_port> --replication-factor <replication_factor> --partitions <partitions> --topic <topic_name> ``` 其中，<zookeeper_host>:<zookeeper_port>为Zookeeper的地址和端口号，<replication_factor>为副本数，<partitions>为分区数，<topic_name>为主题名称。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值