Kafka的安装部署

最新推荐文章于 2024-09-21 20:58:37 发布
最新推荐文章于 2024-09-21 20:58:37 发布
阅读量156 收藏
点赞数 1
文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45568872/article/details/104442550
版权
本文档详细介绍了Kafka的安装部署过程，包括Kafka的概述、部署环境准备和具体的安装步骤。操作环境为Centos 6.8，依赖Scala 2.1.1、JDK 1.8.0_144和Zookeeper 3.4.9。在安装过程中，涉及解压Kafka安装包、修改配置文件server.properties，如设置broker.id、启用topic删除功能和配置Zookeeper集群地址等。最后，通过配置系统环境变量并在集群中分发配置，启动Zookeeper和Kafka，完成安装部署。
摘要由CSDN通过智能技术生成

一. 概述

Kafka简介

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
详细信息请参考百度百科，地址：https://baike.baidu.com/item/Kafka/17930165?fr=aladdin

二 .部署环境准备

  1. 操作系统：Centos 6.8
  2. Scala版本：2.1.1(Kafka的服务器基于Scala)
  3. JDK版本：1.8.0_144(Kafka的客户端基于Java)
  4. Zookeeper版本：3.4.9(Kafka依赖于Zookeeper)
  5. Shell版本：XShell 6

三. 安装部署

  1. Kafka官网(http://kafka.apache.org/)下载安装并上传至虚拟机
  2. 开启虚拟机，将kafka安装包解压到对应目录下
[root@cos100 soft]# tar -zxvf kafka_2.11-2.1.0.tgz -C /usr/local/cluster/
  1. 解压完成后，切换到kafka的解压目录并将全名改为kafka便于使用
[root@cos100 cluster]# mv kafka_2.11-2.1.0/ kafka
  1. 在kafka根目录下创建logs文件夹用于存放运行日志
[root@cos100 kafka]
最低0.47元/天 解锁文章
不将就的cris
关注
Kafka安装部署
weixin_44294381的博客
08-22 277
Title 1.zookeeper安装部署 zookeeper使用的版本为3.5.5 http://zookeeper.apache.org/releases.html 下载文件时注意：下载bin.tar.gz文件 1.1踩坑 踩坑：第一次下载成了tar.gz包，启动不成功，各种百度排错。 查看日志报错：错误: 找不到或无法加载主类org.apache.zookeeper.server.qu...
kafka安装部署
m0_67400972的博客
07-30 915
代理列表-我们要发送邮件的代理列表。主题名称demo。bin/kafka-console-consumer.sh--bootstrap-server192.168.xxx.xxx9092--topic名称--from-beginning。如上图，创建主题后，系统会在config/server.properties文件中的"/tmp/kafka-logs/"中指定的创建主题的日志。在目录/opt/monitor/kafka/kafka_2.12-2.7.0/config下。...
如何安装部署kafka
jkzyx123的博客
09-21 906
安装和部署需要以下几个步骤，包括下载 Kafka、配置 ZooKeeper（或者使用 Kafka 自带的 Kafka Raft 模式替代 ZooKeeper），以及启动 Kafka 服务。以下是一个但基于 Linux 的典型安装流程，可以根据需要改装到其他操作系统。
一、kafka安装部署
热门推荐
panchang199266的博客
08-27 4万+
Step 1: 下载代码 你可以登录Apache kafka 官方下载。 http://kafka.apache.org/downloads.html Step 2: 启动服务 运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper。 //这是前台启动，启动以后，当前就无法进行其...
Kafka安装部署与Java调用.zip
03-01
本资料主要涵盖了Kafka的安装部署以及Java API的调用方法，分为单机版和集群版两种环境。 ### Kafka安装部署 #### 单机版安装 1. **下载**: 首先，你需要从Apache Kafka的官方网站下载最新版本的Kafka。确保下载与...
Kafka学习（二） Kafka安装部署&命令行
最新发布
09-24
手动搭建Kafka的学习环境，详细步骤
kafka 安装 部署 实用
05-31
### Kafka安装与部署详解 #### 一、Kafka简介 Apache Kafka是一款开源的消息队列中间件，主要用于构建实时数据管道以及流式应用。它能够处理大量实时数据，并且具有高吞吐量、低延迟等特点。Kafka的核心概念包括...
kafka 安装部署
十二的博客
07-13 169
1.集群规划 node1 node2 node3 zookeeper zookeeper zookeeper kafka kafka kafka 2.jar包下载 http://kafka.apache.org/downloads kafka_2.11-2.4.1.tgz 3.集群部署 1）解压安装包 [linux@node1 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 2）修改解压后的文件名称 [linux@
【Apache KafKa系列之一】KafKa安装部署
Jonathan.Wei的专栏
01-10 2万+
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。 卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中
【Kafka】Kafka安装部署
Just Do IT
03-15 511
前期环境准备 准备好相应的服务器 本文中服务器共三台: node01,node02,node03 服务器已安装zookeeper集群 Kafka安装步骤 下载安装包 下载地址: http://kafka.apache.org/downloads 上传安装包到node01的指定目录 请选择合适的工具上传,过程略. 解压到指定目录 tar -zxvf kafka_2....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值