Kafka安装-Linux版

最新推荐文章于 2024-04-28 07:43:44 发布
最新推荐文章于 2024-04-28 07:43:44 发布
阅读量138 收藏
点赞数
文章标签： 大数据 操作系统 java
原文链接：http://www.cnblogs.com/likethis/p/9454151.html
版权

 

 

1.   准备

1.1    Kafka

Kafka版本采用0.10.2.1，下载0.10.2.1文件

http://kafka.apache.org/downloads

1.2    JDK

JDK选用Java1.8，下载地址

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1.3    Zookeeper

Zookeeper选择3.4.9，下载地址：

https://archive.apache.org/dist/zookeeper/

 

1.4    注意机器磁盘重启自动清理的问题。

2.   安装JDK

Linux-Center-OS默认已经安装Java8，可以打开命令行：

Java –version，查看当前的Linux安装Java版本。

如果机器没有安装Java，采用一下步骤执行安装：

1、 打开/etc/profile

a)       vi /etc/profile

2、 添加一下配置

export JAVA_HOME=/home/teld/jdk1.8.0_65
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

3、 添加文件夹权限

a)       chmod -R +x jdk1.8.0_65

4、 执行命令 source

a)       source /etc/profile

3.   安装Zookeeper

本次将在本机上安装具有三个Zookeeper实例的Zookeeper集群

 

实例

对外端口

内部选举端口

1

192.169.1.147：2181

192.169.1.147：2881：3881

2

192.169.1.147：2182

192.169.1.147：2882：3882

3

192.169.1.147：2183

192.169.1.147：2883：3883

 

 

  1. 解压Zookeeper到指定目录： tar –zxvf   /home/Fanby/桌面/TeldApp/zookeeper-3.4.9.tar.gz local/teldapp/mq
  2. 将Zookeeper3.4.9文件夹重命名为zookeeper-0，并复制文件夹zookeeper-1，zookeeper-2

命令：mv zookeeper-3.4.9 zookeeper-1

         Cp –r zookeeper-1 zookeeper-2

      Cp –r zookeeper-1 zookeeper-3

3.1    Zookeeper-1安装配置

  1. 进入到Zookeeper-1/cfg目录：cd /zookeeper/cfg

复制文件：cp zoo_sample.cfg zoo.cfg

  1. 编辑zoo.cfg文件

a)       Vi  zoo.cfg

b)       定位到dataDir= /opt/kafka_0.10/zookeeper/data

c)       文件最后添加

server.1=192.169.1.147:2881:3881

server.2=192.169.1.147:2882:3882

server.3=192.169.1.147:2883:3883

d)       Esc+:+wq+回车保存

 

 

  1. 创建Data文件目录

a)       Cd ..

b)       Mkdir data

  1. 创建MyID文件

Vi myid,文件内容输入1，wq退出。

  1. 输入./zkServer.sh start ,启动zkServer服务器
  2. ./zkServer.sh status 命令查看Zookeeper的运行情况

3.2    Zookeeper-2和Zookeepe-3文件实例配置

与1配置雷同注意

1、 coo.cfg中的端口号：2182、2183

2、 coo.cfg中的dataDir：/usr/local/teldapp/zookeeper-0/data

3、 data目录中的myid文件值不同：1、2、3

4.   安装Kafka

Kafka也在本机模拟三个节点：

节点

IP地址

端口号

listeners

Kafka-01

192.168.1.147

9093

listeners=PLAINTEXT://192.169.1.147:9093

Kafka-02

192.168.1.147

9094

listeners=PLAINTEXT://192.169.1.147:9094

Kafka-03

192.168.1.147

9095

listeners=PLAINTEXT://192.169.1.147:9095

 

1、 解压Kafka安装包到指定目录

 

2、 重命名Kafka_2.11-.10.2.1为kafka-01

a)       Mv kafka_2.11-0.10.2.1 kafka-01

3、 复制Kafka-01两份(不复制时根据启动实例配置文件启动三个实例)

a)       Cp –r kafka-01 kafka-02

b)       Cp –r kafka-01 kafka-03

4.1    注意检查HostName映射

为避免和AD配置上有重复解析， 确定hostname是否已经配置，已经连通性。

生产环境联系运维从ad上进行hostname配置。

 

4.2    Kafka-01安装

1、 复制/confg/server.properties文件为server-9093.properties

2、 打开server-9093.properties vi server9093.propertites，并修改一下配置值

 

文件

 

server-9093.properties

broker.id=10

log.dir= /tmp/mq/kafka/log

listeners= PLAINTEXT://192.169.1.147:9093

zookeeper.connect=192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

 

3、 运行JMX-Port=9999 nohup bin\kafka-server-start.sh config\server-9093.properties &命令启动Kafka服务器

 

 

 

4.3    Kafka02，03安装

修改配置:server-9094.properties和server-9094.properties文件

文件

 

server-9094.properties

broker.id=20

log.dir=/usr/local/teldapp/mq/tmp/kafka-logs-9094

listeners= PLAINTEXT://192.169.1.147:9094

zookeeper.connect=192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

server-9095.properties

broker.id=30

log.dir=/usr/local/teldapp/mq/tmp/kafka-logs-9095

listeners= PLAINTEXT://192.169.1.147:9095

zookeeper.connect=192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

 

运行

JMX-Port=9999 nohup bin\kafka-server-start.sh config\server-9094.properties &

JMX-Port=9999 nohup bin\kafka-server-start.sh config\server-9095.properties &

命令启动Kafka服务器

 

4.4    Kafka服务器停止

可以使用命令

kafka-1/bin/kafka-server-stop.sh kafka-1/config/server-9093.properties

kafka-1/bin/kafka-server-stop.sh kafka-1/config/server-9094.properties

kafka-1/bin/kafka-server-stop.sh kafka-1/config/server-9095.properties

来停止Kafka服务器

4.5    Kafka-Manager安装

1、 拷贝kafkamanager.tar.gz到linux服务器（1.3.3.15）

2、 解压 tar –zxvf kafkamanger.tar.gz /usr/local/teldapp/mq

3、 打开 conf目录，并kafka­-manager-zkhosts=进行配置

 

4、 运行根木下start.sh

5.   Kafka配置

5.1    常用命令

  1. 启动kafka

bin/kafka-server-start.sh server.properties

  1. 停止kafka

bin/kafka-server-stop.sh server.properties

  1. 创建topic

调用kafka-topics命令完成Topic的创建，复制因子为3，有3个分区

 

bin/kafka-topics.sh --create --zookeeper 192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183 --replication-factor 3 --partitions 3 --topic test

  1. 4.  查看Topic状态

可以调用kafka-topics.sh –list来查看这个Topic的状态

bin/kafka-topics.sh --list --zookeeper 192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

  1. 发送消息

bin/kafka-console-producer.sh --broker-list 192.169.1.147:9093, 192.169.1.147:9094, 192.169.1.147:9095 --topic test

this is a message

this is another message

  1. 消费消息

bin/kafka-console-consumer.sh --bootstrap-server 192.169.1.147:9093, 192.169.1.147:9094, 192.169.1.147:9095  --topic test --from-beginning

 

5.2    Broker配置

broker.id=10

 

log.dirs=/usr/local/teldapp/mq/tmp/kafka-logs-9093

 

listeners=PLAINTEXT://192.169.1.147:9093

 

num.network.threads=3

 

num.partitions=3

 

num.replica.fetchers=3

 

default.replication.factor=3

 

 

 

 

 

 

 

 

 

5.3    Log日志文件配置

log.cleanup.policy

Delete

 

log.cleaner.enable

True

 

log.retention.bytes

1073741824=1TB

日志数据存储的最大字节数。超过这个时间会根据policy处理数据。

log.retention.hours

168小时

 

 

 

 

 

 

 

 

5.4    Java-jmx配置

在启动Kafka之前，调用Jmx命令

JMX_PORT=9997 nohup kafka-1/bin/kafka-server-start.sh kafka-1/config/server-9093.properties &

JMX_PORT=9998 nohup kafka-1/bin/kafka-server-start.sh kafka-1/config/server-9094.properties &

JMX_PORT=9999 nohup kafka-1/bin/kafka-server-start.sh kafka-1/config/server-9095.properties &

nohup kafka-manager/bin/kafka-manager &

6.   附录

6.1    __consumer_offsets 文件很大

6.2    修改linux 最大文件限制数 ulimit

echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nproc 65535" >> /etc/security/limits.conf

ulimit -n 65535

sed -i 's/4096/65535/g' /etc/security/limits.d/20-nproc.conf

6.3    Linux下开放端口

使用iptables开放如下端口
/sbin/iptables -I INPUT -p tcp --dport 9000 -j ACCEPT
保存
/etc/rc.d/init.d/iptables save
重启服务
service iptables restart
查看需要打开的端口是否生效？
/etc/init.d/iptables status、

6.4    所有配置

advertised.host.name = null

       advertised.listeners = null

       advertised.port = null

       authorizer.class.name =

       auto.create.topics.enable = true

       auto.leader.rebalance.enable = true

       background.threads = 10

       broker.id = 10

       broker.id.generation.enable = true

       broker.rack = null

       compression.type = producer

       connections.max.idle.ms = 600000

       controlled.shutdown.enable = true

       controlled.shutdown.max.retries = 3

       controlled.shutdown.retry.backoff.ms = 5000

       controller.socket.timeout.ms = 30000

       create.topic.policy.class.name = null

       default.replication.factor = 1

       delete.topic.enable = false

       fetch.purgatory.purge.interval.requests = 1000

       group.max.session.timeout.ms = 300000

       group.min.session.timeout.ms = 6000

       host.name =

       inter.broker.listener.name = null

       inter.broker.protocol.version = 0.10.2-IV0

       leader.imbalance.check.interval.seconds = 300

       leader.imbalance.per.broker.percentage = 10

       listener.security.protocol.map = SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,TRACE:TRACE,SASL_SSL:SASL_SSL,PLAINTEXT:PLAINTEXT

       listeners = 192.169.1.147:9093

       log.cleaner.backoff.ms = 15000

       log.cleaner.dedupe.buffer.size = 134217728

       log.cleaner.delete.retention.ms = 86400000

       log.cleaner.enable = true

       log.cleaner.io.buffer.load.factor = 0.9

       log.cleaner.io.buffer.size = 524288

       log.cleaner.io.max.bytes.per.second = 1.7976931348623157E308

       log.cleaner.min.cleanable.ratio = 0.5

       log.cleaner.min.compaction.lag.ms = 0

       log.cleaner.threads = 1

       log.cleanup.policy = [delete]

       log.dir = /tmp/kafka-logs

       log.dirs = /usr/local/teldapp/mq/tmp/kafka-logs-9093

       log.flush.interval.messages = 9223372036854775807

       log.flush.interval.ms = null

       log.flush.offset.checkpoint.interval.ms = 60000

       log.flush.scheduler.interval.ms = 9223372036854775807

       log.index.interval.bytes = 4096

       log.index.size.max.bytes = 10485760

       log.message.format.version = 0.10.2-IV0

       log.message.timestamp.difference.max.ms = 9223372036854775807

       log.message.timestamp.type = CreateTime

       log.preallocate = false

       log.retention.bytes = -1

       log.retention.check.interval.ms = 300000

       log.retention.hours = 168

       log.retention.minutes = null

       log.retention.ms = null

       log.roll.hours = 168

       log.roll.jitter.hours = 0

       log.roll.jitter.ms = null

       log.roll.ms = null

       log.segment.bytes = 1073741824

       log.segment.delete.delay.ms = 60000

       max.connections.per.ip = 2147483647

       max.connections.per.ip.overrides =

       message.max.bytes = 1000012

       metric.reporters = []

       metrics.num.samples = 2

       metrics.recording.level = INFO

       metrics.sample.window.ms = 30000

       min.insync.replicas = 1

       num.io.threads = 8

       num.network.threads = 3

       num.partitions = 3

       num.recovery.threads.per.data.dir = 1

       num.replica.fetchers = 1

       offset.metadata.max.bytes = 4096

       offsets.commit.required.acks = -1

       offsets.commit.timeout.ms = 5000

       offsets.load.buffer.size = 5242880

       offsets.retention.check.interval.ms = 600000

       offsets.retention.minutes = 1440

       offsets.topic.compression.codec = 0

       offsets.topic.num.partitions = 50

       offsets.topic.replication.factor = 3

       offsets.topic.segment.bytes = 104857600

       port = 9092

       principal.builder.class = class org.apache.kafka.common.security.auth.DefaultPrincipalBuilder

       producer.purgatory.purge.interval.requests = 1000

       queued.max.requests = 500

       quota.consumer.default = 9223372036854775807

       quota.producer.default = 9223372036854775807

       quota.window.num = 11

       quota.window.size.seconds = 1

       replica.fetch.backoff.ms = 1000

       replica.fetch.max.bytes = 1048576

       replica.fetch.min.bytes = 1

       replica.fetch.response.max.bytes = 10485760

       replica.fetch.wait.max.ms = 500

       replica.high.watermark.checkpoint.interval.ms = 5000

       replica.lag.time.max.ms = 10000

       replica.socket.receive.buffer.bytes = 65536

       replica.socket.timeout.ms = 30000

       replication.quota.window.num = 11

       replication.quota.window.size.seconds = 1

       request.timeout.ms = 30000

       reserved.broker.max.id = 1000

       sasl.enabled.mechanisms = [GSSAPI]

       sasl.kerberos.kinit.cmd = /usr/bin/kinit

       sasl.kerberos.min.time.before.relogin = 60000

       sasl.kerberos.principal.to.local.rules = [DEFAULT]

       sasl.kerberos.service.name = null

       sasl.kerberos.ticket.renew.jitter = 0.05

       sasl.kerberos.ticket.renew.window.factor = 0.8

       sasl.mechanism.inter.broker.protocol = GSSAPI

       security.inter.broker.protocol = PLAINTEXT

       socket.receive.buffer.bytes = 102400

       socket.request.max.bytes = 104857600

       socket.send.buffer.bytes = 102400

       ssl.cipher.suites = null

       ssl.client.auth = none

       ssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1]

       ssl.endpoint.identification.algorithm = null

       ssl.key.password = null

       ssl.keymanager.algorithm = SunX509

       ssl.keystore.location = null

       ssl.keystore.password = null

       ssl.keystore.type = JKS

       ssl.protocol = TLS

       ssl.provider = null

       ssl.secure.random.implementation = null

       ssl.trustmanager.algorithm = PKIX

       ssl.truststore.location = null

       ssl.truststore.password = null

       ssl.truststore.type = JKS

       unclean.leader.election.enable = true

       zookeeper.connect = 192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

       zookeeper.connection.timeout.ms = 6000

       zookeeper.session.timeout.ms = 6000

       zookeeper.set.acl = false

       zookeeper.sync.time.ms = 2000

转载于:https://www.cnblogs.com/likethis/p/9454151.html

weixin_30593261
关注
Kafka在Linux上的下载、安装和部署
YazIdris的博客
09-19 351
本文将为您提供详细的步骤和相应的源代码来帮助您完成这个过程。在启动Kafka之前，您需要启动Zookeeper服务。您可以在Kafka的官方网站上找到最新版本的下载链接。这将在当前目录下创建一个名为"kafka_2.13-2.8.0"的文件夹，其中包含Kafka的所有文件。在此文件中，您可以设置Kafka的各种属性，如端口号、日志目录等。现在，您可以创建一个Kafka主题，用于存储和处理数据。您可以使用Kafka提供的命令行工具来发送和接收消息。下载完成后，您需要解压Kafka的压缩文件。
linux 安装Kafka-Eagle
一种感觉的博客
08-27 583
1.安装 [root@ls_t3rdypvp ~]# tar -zxvf kafka-eagle-xxx-bin.tar.gz [root@ls_t3rdypvp ~]# mv kafka-eagle-web-2.0.6 /usr/local/ [root@ls_t3rdypvp local]# mv kafka-eagle-web-2.0.6 kafka-eagle 2.配置 [root@ls_t3rdypvp ~]# vim /etc/profile export KE_HOME=/usr/local
Kafka Tool linux版本，适用于kafka0.11及以上
12-14
Kafka Tool是一个用于管理和使用Apache Kafka集群的GUI应用程序。它提供了一个直观的UI，允许用户快速查看Kafka群集中的对象以及存储在群集主题中的消息
linux下kafka
01-09
linux下部署kafka所需压缩包 版本是kafka_2.11-2.0.1.tgz
kafka安装包
12-30
kafka相关安装工具包，可以直接使用，编便于安装测试，亲测可用
windows下kafka安装套装
wojiaoliujiawei的专栏
02-23 277
kafka基于zookeeper，zookeeper又基于java 1,先安装java 必须是1.8以上的版本，are you ok? 配置环境变量 JAVA_HOME=C:\jdk1.5.0_06 PATH=%JAVA_HOME%\bin;%PATH% 2,zookeeper安装 zookeeper的版本我去官网下的好几个高版本解压有问题，所以建议大家安装 zooke...
kafka-2.12-3.6.1.tgz
12-19
在开始安装前，确保你的Linux系统已经安装了Java Development Kit (JDK) 8或以上版本，因为Kafka运行需要Java环境。你可以通过命令`java -version`来检查是否已安装以及版本信息。 二、下载与解压 你已经拥有了名为...
kafka-2.11-2.4.1安装包以及linux(centos7)安装kafka-2.11-2.4.1详细文档
04-18
在本文中，我们将深入探讨如何在Linux CentOS 7系统上安装Apache Kafka 2.4.1，基于提供的kafka_2.11-2.4.1安装包。Apache Kafka是一个分布式流处理平台，广泛应用于大数据实时处理、消息传递和日志聚合等领域。...
kafka-2.12-3.6.0安装包以及linux(centos7)无zookeeper安装kafka-2.12-3.6.0(
04-18
在本文中，我们将深入探讨如何在Linux CentOS 7系统上安装Apache Kafka 2.12-3.6.0版本，特别关注无需Zookeeper的Kraft模式安装。Apache Kafka是一款高性能、分布式的消息队列系统，常用于大数据处理、实时流处理和...
Linux 安装 kafka
最新发布
2401_83974607的博客
04-28 982
dataLogDir=/opt/software/kafka/zookeeper/log #zookeeper日志目录。mkdir -p /opt/software/kafka/zookeeper/log #zookeeper日志。mkdir -p /opt/software/kafka/zookeeper #zookeeper数据目录。mkdir -p /opt/software/kafka/log #kafka日志。sleep 3 #等3秒后执行。return “发送成功”;
kafka_2.12-2.5.0 官网Linux版本安装包.rar
06-18
kafka_2.12-2.5.0 官网Linux版本安装包.rar 博文：https://yilei.blog.csdn.net/article/details/106741120 afka（一）------Linux环境下Kafka集群安装
下载慢？给你Kafka 2.xx所有版本下载的百度网盘链接
05-12
Kafka 2.xx所有版本下载的百度网盘链接。包括： kafka_2.11-2.0.0.tgz, kafka_2.11-2.0.1.tgz, kafka_2.11-2.1.0.tgz, kafka_2.11-2.1.1.tgz, kafka_2.11-2.2.0.tgz, kafka_2.11-2.2.1.tgz, kafka_2.11-2.2.2.tgz, kafka_2.11-2.3.0.tgz, kafka_2.11-2.3.1.tgz, kafka_2.11-2.4.0.tgz, kafka_2.11-2.4.1.tgz, kafka_2.12-2.0.0.tgz, kafka_2.12-2.0.1.tgz, kafka_2.12-2.1.0.tgz, kafka_2.12-2.1.1.tgz, kafka_2.12-2.2.0.tgz, kafka_2.12-2.2.1.tgz, kafka_2.12-2.2.2.tgz, kafka_2.12-2.3.0.tgz, kafka_2.12-2.3.1.tgz, kafka_2.12-2.4.0.tgz, kafka_2.12-2.4.1.tgz, kafka_2.12-2.5.0.tgz, kafka_2.13-2.4.0.tgz, kafka_2.13-2.4.1.tgz, kafka_2.13-2.5.0.tgz
kafka2.12 linux版本下载.zip
07-02
kafka2.12 linux版本下载.zip
kafka安装包.zip
12-06
kafka安装包，内含最新jdk环境、zookeeper和kafka环境
2020最全Kafka教程合集（笔记+视频）.rar
08-24
本人在北美刚刚毕业，目前面试的几家大厂包括小公司在面试中都频繁的问道kafka这个技术，作为大数据开发或者java全栈的开发者来说，2020年很有必要系统的学习一下kafka. 1.[全面][Kafka2.11][jdk1.8][ZooKeeper3.4.6]Kafka完美入门+原理剖析及实战演练_12课带工具+PPT（分辨率1440.900）. 2.[基础][Kafka2.11]Hadoop生态重要成员Kafka入门学习_5讲（分辨率1280.720）_902M 4Kafka核心技术与实战（更新完毕） 46-Kafka核心技术与实战 Kafka并不难学 Kafka从入门到精通 Kafka核心
Kafka安装启动(含安装包)
m0_45877477的博客
07-04 777
Kafka是由Apache软件基金会开发的一个开源流处理平台,Kafka是一种高吞吐量的分布式发布订阅消息系统.
kafka的安装
热门推荐
花开一千年，花落一千年，花叶永不见
01-30 11万+
准备 1、三台虚拟机（必须） 2、三台虚拟机都需要装有jdk（必须） jdk的安装 3、三台虚拟机都需要有zookeeper（必须） zookeeper的安装 4、vim安装 可以看配置文件效果更好（非必须） vim的安装 1、下载 1.1、官网下载地址 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.1/kafka_2.11-2.4.1.tgz 1.2、百度网盘下载地址 链接：https://pan.baidu.com/s/1HL3k
（一）环境介绍及所需安装包下载 --- kafka集群搭建
qq_41497111的博客
04-26 969
有问题的地方望指出。 （零）linux 从零开始搭建虚拟机集群，安装jdk，ssh免密登录 -- 小白教程 （一）环境介绍及所需安装包下载 --- kafka集群搭建 （二）搭建zookeeper集群 --- kafka集群搭建 （三）搭建kafka 集群 --- kafka集群搭建 （四）Kafk...
Kafka_2.12-2.2.2集群安装
小胡的博客
07-18 986
一、资料准备 （一）安装包 kafka下载地址：kafka_2.12-2.2.2 zookeeper下载地址：zookeeper-3.4.13 百度云下载（包含kafka和zookeeper）： 链接：https://pan.baidu.com/s/16iuFdl9_3e0rn7OQ2a0WBg 提取码：ypsd csdn下载（保证超值）：下载 （二）服务器环境（此处用虚拟机） centos7_X64：192.168.1.11 centos7_X64：192.168.1.12 centos7_X64：
Linux Kafka 2.12-3.0.0版本发布，功能全面升级
在Linux系统中部署Kafka通常包括安装Java环境（因为Kafka是用Java编写的）、配置必要的系统参数，以及下载相应的Kafka压缩包并解压启动。由于Kafka是分布式系统的一部分，因此还需要设置Kafka集群，配置主题，以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值