kafka+zookeeper环境配置

转载 2016年05月31日 21:16:40

kafka+zookeeper环境配置(Mac 或者 linux环境)

一.zookeeper下载与安装

1)下载

adeMacBook-Pro:zookeeper_soft apple$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

2)解压

tar zxvf zookeeper-3.4.6.tar.gz

3)配置

cd zookeeper-3.4.6

cp -rf conf/zoo_sample.cfg conf/zoo.cfg
vim zoo.cfg

zoo.cfg:


# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/Users/apple/Documents/soft/zookeeper_soft/zkdata #这个目录是预先创建的
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1


4)启动zookeeper


adeMacBook-Pro:bin apple$ sh bin/zkServer.sh start
JMX enabled by default
Using config: /Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
-n Starting zookeeper ... 
STARTED
adeMacBook-Pro:bin apple$ ps ax| grep zookeeper.out 
10311 s003  S+     0:00.01 grep zookeeper.out
adeMacBook-Pro:bin apple$ ps ax| grep zookeeper
10307 s003  S      0:00.63 /usr/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp /Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../build/classes:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../build/lib/*.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../conf: -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false org.apache.zookeeper.server.quorum.QuorumPeerMain /Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../conf/zoo.cfg

二 下载并且安装kafka(预先得安装配置好scala的环境,Mac环境参照:http://www.cnblogs.com/super-d2/p/4534208.html)

1).下载kafka:

2) 解压:

tar -zxf kafka_2.10-0.8.2.1.tgz

3)启动kafka

  adeMacBook-Pro:kafka_2.10-0.8.2.1 apple$ sh bin/kafka-server-start.sh config/server.properties

备注:要挂到后台使用:

sh bin/kafka-server-start.sh config/server.properties &

4)新建一个TOPIC

adeMacBook-Pro:bin apple$ sh kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181

备注:要挂到后台使用:

sh kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181 &

5) 把KAFKA的生产者启动起来:

adeMacBook-Pro:bin apple$ sh kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic

备注:要挂到后台使用:

sh kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic &

6)另开一个终端,把消费者启动起来:

adeMacBook-Pro:bin apple$ sh kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

备注:要挂到后台使用:

sh kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning &



  

zookeeper 和 kafka 集群搭建

Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我...
  • my_bai
  • my_bai
  • 2017年03月30日 17:35
  • 8311

zookeeper客户端 和服务器连接时版本问题

在使用kafka 和zookeeper 实现实时分析程序时,由于zookeeper部署版本和分析程序导入jar包的版本不一致,导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报...
  • azhao_dn
  • azhao_dn
  • 2013年01月05日 17:18
  • 66197

KafKa基于Zookeeper集群安装

一、依赖: Kafka依赖于Zookeeper,并且内置Zookeeper,我们可以选择独立部署Zookeeper或者使用自带的Zookeeper。这边我使用了Kafka内置的Zookeeper;关...
  • u010246789
  • u010246789
  • 2016年08月03日 18:43
  • 1736

简单搭建kafka + zookeeper,附简单Java生产和消费客户端

首先说明一下这是一篇入门实战操作文章,本人亦是刚刚开始接触kafka,看了网上很多很多的文章,觉得自己也应当在搭建平台的过程中留下一些痕迹,总结一下遇到的问题和解决方法。 这篇文章主要是讲从零开始把服...
  • adam_ling
  • adam_ling
  • 2017年02月21日 15:28
  • 2831

ZK安装及kafka基本运行小结

ZK安装及kafka基本运行小结Sec.1 安装前置系统版本:Centos 6.5用户:Cccolaip:192.168.69.135Java 配置JDK 1.8.0_65 ~/.bash_profi...
  • nagisa1993
  • nagisa1993
  • 2016年04月06日 15:11
  • 918

kafka与ZK

kafka强依赖于ZK,要使用kafka必须要zkkafka哪些信息存于ZK消费偏置信息kafka集群topic信息Kafka在ZK上节点存储参考http://my.oschina.net/u/141...
  • zwt0909
  • zwt0909
  • 2016年08月15日 14:53
  • 1443

kafka_2.12-0.10.2.1集群搭建安装配置

在搭建kafka集群之前,请保证zookeeper已安装。1、下载下载 kafka_2.12-0.10.2.1.tgz2、解压$ cd /home/hadoop$ tar zxvf kafka_2.1...
  • chenshijie2011
  • chenshijie2011
  • 2017年07月21日 18:37
  • 1041

kafka 0.8.2版本配置选项翻译

3.     Configuration Kafka在配置文件中使用key-value方式进行属性配置。这些values可以通过文件或者编程方式提供。 3.1   ...
  • bbaiggey
  • bbaiggey
  • 2016年10月25日 17:41
  • 670

zookeeper客户端 和服务器连接时版本问题

在使用kafka 和zookeeper 实现实时分析程序时,由于zookeeper部署版本和分析程序导入jar包的版本不一致,导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报...
  • codepython
  • codepython
  • 2015年01月26日 17:03
  • 1323

使用自带Zookeeper搭建kafka集群

简要说明 新版本的kafka自带有zookeeper,其实自带的zookeeper完全够用,本篇文章以记录使用自带zookeeper搭建kafka集群。 1、关于kafka kafka官网:http:...
  • jund05
  • jund05
  • 2017年11月11日 16:22
  • 456
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:kafka+zookeeper环境配置
举报原因:
原因补充:

(最多只允许输入30个字)