mac(Linux)安装配置kafka环境

标签: zookeeper kafka 安装 linux
344人阅读 评论(1) 收藏 举报
分类:

mac(Linux)安装配置kafka环境

导读

本文介绍如何在Mac系统上安装和配置kafka环境,也适用于Linux系统,强烈不建议在Windows环境下尝试本博客。

软件环境说明如下:

  1. 操作系统:OS X 10.10.3
  2. JDK版本: 1.8
  3. zookeeper版本:zookeeper-3.4.9
  4. kafka版本:1.0.0

一、安装包下载

1.1 zookeeper下载

zookeeper官网 :http://zookeeper.apache.org/.

下载截至当前日期(2018-01-13)的zookeeper稳定版本3.4.10,下载地址:http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/,找到zookeeper-3.4.10.tar.gz 并下载。如果由于网络原因下载速度过慢,可以镜像地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/ 。解压至 /usr/local/Cellar目录下,解压命令:

tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/Cellar/

[1.2] kafka下载

kafka官网:http://kafka.apache.org/

kafka 1.0.0下载地址: http://archive.apache.org/dist/kafka/1.0.0/

解压至 /usr/local/Cellar目录下,解压命令:

tar -zxvf kafka_2.12-1.0.0.tgz -C /usr/local/Cellar/

好了,现在 /usr/local/Cellar目录下有两个文件夹:

--/usr/local/Cellar

    --  zookeeper-3.4.10

    --  kafka_2.12-1.0.0

二、zookeeper配置与启动

### 2.1 配置zookeeper

把zookeeper-3.4.10/conf目录下的zoo_sample.cfg另存为zoo.cfg:

cd  zookeeper-3.4.10/conf/

cp zoo_sample.cfg zoo.cfg

找到dataDir=/tmp/zookeeper,把dataDir修改为自定义目录。当然,也可以保持默认值。这里重新指定dataDir:

dataDir=/usr/local/Cellar/zookeeper-3.4.10/zookeeperData

2.2 启动zookeeper

执行zookeeper-3.4.10/bin目录下的zkServer.sh脚本即可启动zookeeper:

sh zkServer.sh start

如果看到如下输出,说明zookeeper启动成功:

ZooKeeper JMX enabled by default
Using config: /usr/local/Cellar/zookeeper-3.4.10/bin/../conf/zoo.cfg
-n Starting zookeeper ...
STARTED

zookeeper启动后 ,默认端口为2181.

三、kafka配置与启动

3.1 配置kafka

3.1.1 连接zookeeper

打开kafka_2.12-1.0.0/config/server.properties,找到zookeeper.connect=localhost:2181,这里的ip和端口要和zookeeper保持一致。

3.1.2 配置log.dirs

server.properties中找到log.dirs,修改为自定义目录:

log.dirs=/usr/local/Cellar/kafka_2.12-1.0.0/kafka-logs

3.2 启动kafka

 sh bin/kafka-server-start.sh  config/server.properties &

此时可以用jps查看进程信息:

$ jps
1635 Jps
1404 Kafka
988 QuorumPeerMain

3.3 创建topic

创建一个topic和数据库里面建一个库是类似的(初次接触,暂时这么理解),测试命令:

 sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic

命令里面 --create表示创建,--zookeeper localhost:2181 指定zookeeper的ip和端口, --replication-factor 1表示topic的副本为1,--partitions 1表示分区为1,--topic testtopic表示创建一个名为testtopic的topic.

执行完以上命令,如果看到如下输出,说明topic创建成功:

......
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Created topic "testtopic".
[2018-01-14 00:24:06,526] INFO [ReplicaFetcherManager on broker 0] Removed fetcher for partitions testtopic-0 (kafka.server.ReplicaFetcherManager)
......

3.4 启动生产者

执行以下命令,启动生产者:

$ sh bin/kafka-console-producer.sh --broker-list localhost:9092 --sync --topic testtopic

输出如下:

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/Cellar/hbase-1.2.4/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/Cellar/kafka_2.12-1.0.0/libs/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

3.5 启动消费者

执行以下命令,启动消费者:

sh bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testtopic --from-beginning
查看评论

mac kafka 环境搭建

kafka安装brew install kafka安装会依赖zookeeper。 看到如下结果,就可以说是安装成功了。lidongdeMacBook-Pro:~ lidong$ brew insta...
  • u010046908
  • u010046908
  • 2017-03-15 16:31:13
  • 5854

Linux下Kafka环境的搭建

本文对Kafka做个简单介绍(详细的介绍在后续文章中体现),着重介绍下Linux下Kafka环境的搭建(单机),后续会补充集群环境下的配置。         Kafka简介              ...
  • xuzhelin
  • xuzhelin
  • 2017-05-10 11:39:05
  • 3368

Linux下的Kafka配置步骤

转载自:http://blog.csdn.net/suifeng3051/article/details/38321043Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置...
  • u013457276
  • u013457276
  • 2016-12-05 16:59:19
  • 1520

Centos下kafka 单机配置部署详解

前提:Linux版本:CentOS release 6.6 (Final) JDK版本:jdk-7u71-linux-x64.tar.gz zookeeper版本:zookeeper-3.3.6....
  • wojiushiwo987
  • wojiushiwo987
  • 2016-05-15 14:40:29
  • 10956

关于python kafka一些配置

Kafka是我们常用的消息队列,python kafka库可以实现Producer和Comsumer,相关资料一查一大把,我们今天来讲讲一些特别的配置和注意事项 Producer api_ver...
  • weixin_41571449
  • weixin_41571449
  • 2018-01-25 01:02:46
  • 55

【Python】Python的数据分析(二)——pandas安装及使用

一. 安装pandas 1. Anaconda         安装pandas、Python和SciPy最简单的方式是用Anaconda。Anaconda是关于Python数据分析和科学计算的分...
  • shandianke
  • shandianke
  • 2014-12-11 22:22:16
  • 86395

kafka安装配置及与logstash集成

1、kafka安装 下载   wget http://mirror.bit.edu.cn/apache/kafka/0.8.2.2/kafka_2.9.1-0.8.2.2.tgz 配置zookee...
  • wangshiliang1990
  • wangshiliang1990
  • 2016-07-19 11:46:19
  • 8549

Ubuntu下安装Python3.5

1. 通过命令行安装Python3.5,执行命令: [plain] view plain copy sudo apt-get install python3.5   ...
  • u013063153
  • u013063153
  • 2016-12-28 10:08:53
  • 275

Linux下搭建kafka环境

1.下载kafka  Apache官网http://kafka.apache.org/downloads.html 最新版下载:点击下载 2.解压下载的kafka tar -xzf kafka_2.1...
  • aitcax
  • aitcax
  • 2015-11-02 11:27:44
  • 12996

mac下kafka安装及配置

》brew install kafka 4. 配置config/server.properties broker.id为依次增长的:0、1、2、3、4,集群中唯一id log.dirs设置到大硬盘路...
  • conjimmy
  • conjimmy
  • 2017-01-15 16:46:35
  • 3172
    StackOverFlow
    http://stackoverflow.com/users/6526424
    统计
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 101万+
    积分: 9705
    排名: 2300
    博客专栏
    最新评论