cm下安装kafka集群服务

最新推荐文章于 2022-11-04 12:49:56 发布
最新推荐文章于 2022-11-04 12:49:56 发布
阅读量1.1k 收藏
点赞数
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43840194/article/details/85252015
版权
本文档详述了在CDH环境下搭建Kafka集群的步骤，包括选择匹配的Kafka Parcel、配置Zookeeper、修改server.properties、通过CM添加服务及解决遇到的jar包冲突问题。
摘要由CSDN通过智能技术生成

1.前提条件
CDH环境已经搭建成功。

2.搭建要求
在CDH上集成Kafka，要求用CDH上的Zookeeper管理Kafka而不是Kafka自带的Zookeeper。

3.搭建流程
(1)首先选取适合自己CDH版本的Kafka的Parcel文件进行下载，CDH与Kafka版本对应关系链接为：

https://www.cloudera.com/documentation/kafka/1-4-x/topics/kafka_packaging.html

(2)下载Kafka Parcel，下载链接为：http://archive.cloudera.com/kafka/parcels/1.4.0/

查看Linux服务器版本
#cat /proc/version

Linux version 3.10.0-693.2.2.el7.x86_64 (builder@kbuilder.dev.centos.org)
(gcc version 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC) ) #1 SMP Tue Sep 12 22:26:13 UTC 2017

(3)上传Parcel文件至cloudrea目录，例如我的目录为：/DATA/cloudera/parcel-repo

(4)分配并激活Parcel，在clo

最低0.47元/天 解锁文章
Tinsonz
关注
kafka-manager（CMAK）-2.0.0.2.zip
08-11
Kafka-Manager，简称CMAK，是由Yahoo开发的一款针对Apache Kafka的集群管理工具，旨在提供简单易用的界面，帮助用户方便地监控、管理和操作Kafka集群。在2.0.0.2版本中，CMAK进一步提升了用户体验，优化了性能，并且...
如何在已有CM集群环境中添加kafka组件
Memory of Mr.Snail
09-14 5265
参考kafka升级 CDH5与CM5环境搭建场景怎么局部升级当前cm集群呢，比如添加kafka组件、spark组件等分析一、升级原因1、 现有集群组件只能做一些离线类统计分析，无法满足当前实时类业务计算的需求。 2、 现有集群计算引擎是基于MR2,计算能力相对较弱。综合以上因素，决定在已有的集群组件中添加 : flume、kafka 与 spark 组件，以期提升集群的计算能力，满足当前实时
Kafka安装、配置和使用
G_SGold的博客
11-04 2643
kafka的学习之路
CDH集成Kafka
NeverGiveup54的专栏
01-19 1万+
参考CDH官网文档http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html 在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar
CDH 中配置 Kafka MirrorMaker 实现 Kafka 集群消息同步
storm_fury
09-03 7987
添加 Kafka MirrorMaker 服务 添加 Kafka 源集群和目标集群配置 Destination Broker List ：目标集群 Broker列表 Source Broker List ：源集群 Broker 列表 Topic Whitelist ：需要同步的 Topics，支持正则 配置 Kafka 源集群和目标集群 Zookeeper 地址配置 重...
CM离线部署kafka
dechengtju的博客
09-28 1877
一、说明 操作系统：CentOS 6 JDK 版本：1.7.0_80 所需安装包及版本说明： CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha manifest.json cloudera-manager-el6-cm5.5.2_x86_64.tar.gz KAFKA-2.
CDH5.14安装文档(包含spark2和kafka的安装)
03-30
在这个CDH5.14的安装过程中，我们将关注如何在CentOS7.4环境下离线安装CDH，同时包括Spark2和Kafka。 首先，你需要下载以下组件： 1. JDK：这是Java Development Kit，用于运行和开发Java应用程序，CDH中的服务依赖...
CDH5.12&CDH6.0安装文档.zip
07-20
4. **启动CM服务器**：安装完成后，启动CM服务，并在Web界面中完成集群配置。 5. **添加主机**：在CM界面中添加集群节点，进行主机验证和自动配置。 6. **安装CDH组件**：通过CM向导，选择需要的CDH组件（如HDFS、...
CDH安装学习指南，问题解决
最新发布
03-11
- 安装Kafka前需确保Zookeeper服务已正确安装并运行。 - 在Cloudera Manager中添加Kafka服务，并按照官方文档配置Broker数量、分区等参数。 - **常见问题**：Broker连接失败、消息丢失等。 - **解决方案**：检查网络...
CDH6安装脚本+文档全套资料
04-29
2. 安装Cloudera Manager (CM)：CM是CDH的管理工具，负责集群的监控、配置和管理。 3. 配置CM服务器：包括数据库设置（可能使用`CM用户.sql`），初始化CM数据库，以及启动CM服务。 4. 部署Agent：在所有节点上安装和...
CM添加kafka服务
Ran
02-27 3369
CM添加kafka服务
kafka的安装和使用（详细版）
Faith的博客
04-28 1万+
原创地址： https://www.cnblogs.com/lilixin/p/5775877.htmlKafka安装与使用下载地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz安装以及启动kafka步骤1：安装kafka$ tar -xzf kafka_2.10-0.8.1.1.t...
cloudera集成kafka
zhaomeng1123的专栏
10-06 2387
CDH这个大包没有将kafka集成进来，所以单独来说下kafka既然kafka没有被集成进来，为什么添加服务的时候能看到有kafka 所看到的其实是Kafka Custom Service Descriptor (CSD)，这仅仅是一个kafka服务的描述和相关的配置参数，真正的安装包需要单独下载步骤 本文所使用版本见（cloudera manager和cdh离线安装） 主页->主机->Parce
kafka部分属性配置字段详解
zc1024792301的博客
11-11 1880
broker配置 常规配置 broker.id默认值是0，可以被设置成任意整数，但是在kafka集群中必须是唯一的。建议设置成与机器名具有相关性的整数 prot kafka默认监听9092端口 zookeeper.connect 目的是保存broker的元数据 该配置参数是用冒号分隔的一组hostname:port/path列表。每一部分的含义如下： hostname是Zookeeper服...
Kafaka配置
tomcatAndOracle的博客
05-10 1287
<?xml version="1.0" encoding="UTF-8"?>  <beans xmlns="http://www.springframework.org/schema/beans"         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.spr
Kafka 关于消费者组名Consumer Group
王奇的博客
03-12 1万+
由于本人是在Windows个人机上搭建了一个Kafka服务。所以使用中遇到了一个棘手的问题，也是第一次使用Kafka消息队列，所以对其核心知识知之甚少。一个困扰了些许时日的问题，经常因为log文件正被另一个进程使用中，而导致Kafka挂掉。经过排查，最后发现是由于有多个工程在连接Kafka服务充当消费者，而消费者组名是相同的，因为我这里是有很多topic，多个消费者工程针对不同topic在同时运行...
Kafka学习笔记 --- bootstrap-servers 和 broker.list区别
热门推荐
杨鑫newlife的专栏
07-07 4万+
Kafka学习笔记 --- bootstrap-servers 和 broker.list区别
kafka常用操作
cm_chenmin的专栏
09-28 1849
1.启动集群： export KAFKA_HEAP_OPTS=" -Xms3g -Xmx3g -XX:PermSize=48m -XX:MaxPermSize=48m -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 "  nohup ./kafka-server-start.sh -daemo
Cloudera Manager下Hadoop集群角色配置详解
本文主要介绍了如何在使用Cloudera Manager (CM)管理的Hadoop集群中进行角色划分，目的是确保集群高效、稳定地运行。Hadoop集群的关键角色主要包括管理节点（MasterHosts）、工具节点（UtilityHosts）、边缘节点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值