2021-10-28Kafka安装及配置上传

最新推荐文章于 2024-08-09 22:08:58 发布
最新推荐文章于 2024-08-09 22:08:58 发布
阅读量864 收藏
点赞数
文章标签： kafka hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wujisiguleng1/article/details/121017743
版权
本文档详细介绍了如何在Hadoop集群中安装和配置Kafka，包括解压缩软件包、设置环境变量、分发到其他节点以及启动和停止Kafka服务。此外，还涉及到了配置文件server.properties的修改。
摘要由CSDN通过智能技术生成

 

解压缩

[hadoop@hadoop1 soft]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module

[hadoop@hadoop1 module]$ mv /opt/module/kafka_2.11-0.11.0.2 kafka

环境变量

[hadoop@hadoop1 module]$ sudo vi /etc/profile

#kafka

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

[hadoop@hadoop1 module]$ source /etc/profile

配置

 

 

分发

[hadoop@hadoop1 config]$ xrsync.sh /opt/module/kafka/

修改hadoop2、hadoop3的server.properties 分别为 1， 2

 

 

 

 

启动kafka集群

[hadoop@hadoop1 bin]$ kafka.sh start

 --------启动 hadoop1 Kafka-------

 --------启动 hadoop2 Kafka-------

 --------启动 hadoop3 Kafka-------

[hadoop@hadoop1 bin]$ xcall.sh jps

--------- hadoop1 ----------

6756 Jps

6662 Kafka

5049 QuorumPeerMain

--------- hadoop2 ----------

5706 Jps

5612 Kafka

4159 QuorumPeerMain

--------- hadoop3 ----------

5393 Kafka

5483 Jps

3951 QuorumPeerMain

停止kafka集群

[hadoop@hadoop1 bin]$ kafka.sh stop

 --------停止 hadoop1 Kafka-------

 --------停止 hadoop2 Kafka-------

 --------停止 hadoop3 Kafka-------

wujisiguleng1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka安装及配置
Elfe_的博客
10-29 1539
一、安装 kafka可以通过官网下载： https://kafka.apache.org/downloads kafka根据Scala版本不同，又分为多个版本，我不需要使用Scala，所以就下载官方推荐版本kafka_2.12-2.4.0.tgz。 使用tar -xzvf kafka_2.12-2.4.0.tgz 解压 为了使用方便，可以创建软链接kafka0 二·kafka配置 kafka的配置文件在config/server.properties文件中，主要修改参数如下，更具体的参
向ftp服务器写入文件,指定字段上传Kafka写入txt文件并文件上传ftp服务器
weixin_30172941的博客
08-10 793
一、修改zookeeper配置文件二、修改kafka配置文件这样才能启动zookeeper和kafka并且能连接上。三、解析JSON字符串转对象kafka生产者传到队列中是一组json字符串json实例{"countAll":0,"countCorrect":0,"datatime":"6","logid":"202008251616401404295157","requestinfo":"{\"...
如何使用kafka实现可靠传输
weixin_38738049的博客
12-08 1565
可靠的数据传递是系统的属性之一，不能作为事后考虑。与性能一样，它必须从第一个白板图中被设计成一个系统。事后你就不能保证可靠性了。更重要的是，可靠性是一个系统的属性——而不是单个组件——所以即使当我们谈论Apache Kafka的可靠性保证时，您也需要记住整个系统及其用例。说到可靠性，与卡夫卡集成的系统和卡夫卡本身一样重要。因为可靠性是一个系统概念，它不可能是一个人的责任。每个人——Kafka管理员、Linux管理员、网络和存储管理员以及应用程序开发人员——都必须共同努力，以构建一个可靠的系统。 Apache
【Kafka】使用Java连接Kafka并上传/读取数据
Helltaker的博客
12-07 1462
使用Java连接Kafka并上传/读取数据ProducerConsumer Producer import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.common.serializ
kafka将数据上传至kafka(使用stream实现）
hua_ge_zui_liang的博客
06-01 942
stream方法将数据从 kafka->hbase1、创建stream目录并编写编写ICustomTopology 接口编写StreamHandler类编写UserFriendsTopology类继承ICustomTopology 接口编写测试类StreamDriver2、使用hbase查看 1、创建stream目录并编写 编写ICustomTopology 接口 package nj.zb.stream; import org.apache.kafka.streams.Topology; im
kafka学习推荐
06-24 1761
https://www.cnblogs.com/huxi2b/
Kafka集群及Kafka-Manager安装部署.docx
02-07
### Kafka集群及Kafka-Manager安装部署 #### 一、Kafka集群的安装与配置 **1. 工作环境准备** - **JDK**：确保安装了JDK 1.8.0_60版本。这一步骤至关重要，因为Kafka依赖于Java运行时环境。 - **Zookeeper**...
kafka-webview:功能齐全的基于Web的Apache Kafka用户界面
04-29
Kafka WebView 该项目旨在成为功能齐全的基于Web的使用者。 Kafka WebView提供了一个易于使用的基于Web... 消费者群体状态监控屏幕截图网络消费者流媒体消费者配置通过发行版进行安装下载最新程序包并解压缩ZIP文件。配
kafka-connect-oss:Kafka Connect OSS连接器套件
05-25
现在，您可以将此连接器用作接收器，以json，avro或parquet格式将数据从kafka主题上载到OSS。 该连接器定期轮询来自Kafka的数据，然后将其上传到OSS。 您可以配置一个分区程序以将数据拆分为多个块，每个数据块均...
Kafka安装部署 for Mac or Linux
01-07
Kafka官网 http://kafka.apache.org/ 我所使用的版本是 kafka_2.11-0.9.0.0下载地址为 https://archive.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz 以下是单节点部署 1）解压 解压到指定文件夹 tar -zxvf kafka_2.11-0.9.0.0.tgz -C ~/programming/ 2）配置环境变量 编辑~/.bash_profile 文件 vi ~/.bash_profile 在文件中添加 export KAFKA_HOME=/Users/zhaohai
Kafka-manager安装步骤.docx
12-15
### Kafka-Manager 安装与配置详尽指南 #### 一、概述 Kafka-Manager 是一款用于管理和监控 Apache Kafka 集群的强大工具。它提供了直观的 Web 界面，便于用户对 Kafka 集群进行管理和维护，如创建主题、调整分区...
kafka-eagle-bin-1.3.2.tar.gz
01-24
安装Kafka Eagle 1.3.2版本，首先需要下载解压`kafka-eagle-bin-1.3.2`压缩包，然后按照以下步骤进行配置： 1. **环境准备**：确保系统已安装Java环境，Kafka集群正常运行。 2. **解压部署**：将压缩包解压到指定...
最新 kafka 安装 2021-6
qq_37186947的博客
05-25 870
背景 kafka 在最新的 2.8 版本中，由于运维成本过大，故障处理不友好，分区瓶颈等等原因，弃用了 Zookeeper，而自己实现了 KRaft 协议。所以最新版的安装不再需要 zk 了，网上的教程也统统过时了。 步骤 其实按照官网上的 quick start 非常简单，傻瓜式操作。 前提， sudo apt install openjdk-8-jre-headless 安装一下 jdk 然后去下载 kafka 的最新安装包 ， 推荐清华源wget https://mirrors.tuna.tsin
Kafka传递自定义对象
u012737182的博客
01-06 9587
1、搭好相应的环境（ZK+kafka），保证kafka能正常的发送接收消息 2、新建一个工具类，负责对象字节数组的相互转换，传输数据用package com.kafka.util;import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.IOException; import
把kafka中topic的数据上传到hdfs
qq_38158454的博客
08-07 3848
kafka中topic的数据上传到hdfs中，需要先上传几个jar包到flume下的lib中 然后配置kafka-hdfs的配置文件 最后在flume中运行  bin/flume-ng agent -c conf/ -f conf/kafka-hdfs.conf -n agent -Dflume.root.logger=INFO,console 即能把数据商城到hdfs指定的目
kafka 四：（设计模式）Kafka数据上传至Hbase
cai_and_luo的博客
06-01 404
kafka 四：（设计模式）Kafka数据上传至Hbasedatamove目录AttendeesHandler类IParseHandler接口UserFriendHandler类workEventAttendeesWorker类IWriter接口KafkaParentWorker类writerHBaseWriter类IWriter接口 工程所需的依赖和建立maven工程请参考同栏目的其它博客 详细的代码请免积分下载，连接如下： xxxxxxxxxxxxxxxxxxx datamove目录 Attendee
（2021年4月20日）kafka详解
qq_23665305的博客
04-19 479
kafka详解1.kafka的核心组件2.kafka数据处理步骤3.kafka名词解释和工作方式4.kafka和topic的关系5.Consumer和topic的关系6.kafka消息的发布7.Conusmer的负载均衡 kafka是一个分布式的发布/订阅的消息队列 1.kafka的核心组件 Producer：消息生产者，产生的消息会被发送到某个topic。主动将消息发给broker。 Consumer：消息消费者，消费的消息内容来自于某个topic。主动向topic拉取消息（因为消费水平不同，不能指定推
Kafka 单机和集群环境部署教程
最新发布
qq_42568323的博客
08-09 994
通过以上步骤，我们成功部署了 Kafka 单机和集群环境，并实现了一个简单的生产者和消费者应用。Kafka 提供了高吞吐量、低延迟的消息传递能力，适合用于实时流处理和数据管道。
Kafka-Eagle监控工具：安装与使用指南
其次，将Kafka-Eagle的压缩包上传到服务器，并解压到指定目录，例如`/usr/local/bigdata`。安装的具体步骤可能因实际情况而略有不同，通常还包括配置相关环境变量和启动脚本。 在Kafka-Eagle部署完成后，需要进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值