kafka+zookeeper环境配置

转载 2016年05月31日 21:16:40

kafka+zookeeper环境配置(Mac 或者 linux环境)

一.zookeeper下载与安装

1)下载

adeMacBook-Pro:zookeeper_soft apple$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

2)解压

tar zxvf zookeeper-3.4.6.tar.gz

3)配置

cd zookeeper-3.4.6

cp -rf conf/zoo_sample.cfg conf/zoo.cfg
vim zoo.cfg

zoo.cfg:


# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/Users/apple/Documents/soft/zookeeper_soft/zkdata #这个目录是预先创建的
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1


4)启动zookeeper


adeMacBook-Pro:bin apple$ sh bin/zkServer.sh start
JMX enabled by default
Using config: /Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
-n Starting zookeeper ... 
STARTED
adeMacBook-Pro:bin apple$ ps ax| grep zookeeper.out 
10311 s003  S+     0:00.01 grep zookeeper.out
adeMacBook-Pro:bin apple$ ps ax| grep zookeeper
10307 s003  S      0:00.63 /usr/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp /Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../build/classes:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../build/lib/*.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../conf: -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false org.apache.zookeeper.server.quorum.QuorumPeerMain /Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../conf/zoo.cfg

复制代码

二 下载并且安装kafka(预先得安装配置好scala的环境,Mac环境参照:http://www.cnblogs.com/super-d2/p/4534208.html)

1).下载kafka:

2) 解压:

tar -zxf kafka_2.10-0.8.2.1.tgz

3)启动kafka

  adeMacBook-Pro:kafka_2.10-0.8.2.1 apple$ sh bin/kafka-server-start.sh config/server.properties

备注:要挂到后台使用:

sh bin/kafka-server-start.sh config/server.properties &

4)新建一个TOPIC

adeMacBook-Pro:bin apple$ sh kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181

备注:要挂到后台使用:

sh kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181 &

5) 把KAFKA的生产者启动起来:

adeMacBook-Pro:bin apple$ sh kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic

备注:要挂到后台使用:

sh kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic &

6)另开一个终端,把消费者启动起来:

adeMacBook-Pro:bin apple$ sh kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

备注:要挂到后台使用:

sh kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning &



  

相关文章推荐

zookeeper 和 kafka 集群搭建

Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我...
  • my_bai
  • my_bai
  • 2017年03月30日 17:35
  • 5048

kafka学习六:kafka集成第三方

Storm集成Kafka Storm简介 少量数据的实时处理可以使用JMS(Java Messaging Service)这类技术,但是数据量很大时便会出现性能瓶颈。而且这些方案不适合横向扩展。 ...
  • paul342
  • paul342
  • 2016年06月15日 14:24
  • 2502

kafka+zookeeper环境配置(linux环境单机版)

版本: CentOS-6.5-x86_64 zookeeper-3.4.6 kafka_2.10-0.10.1.0 一.zookeeper下载与安装 1)下载 $ wget ...

zookeeper+kafka配置

ZooKeeper 安装 #将ZooKeeper解压到/usr/local中 tar –zxvf zookeeper-3.4.6.tar.gz –C /usr/local cd /usr/lo...

kafka 的 zookeeper 初识

初识kafka的zookeeper           最近项目中,使用redis进行消息的分发与订阅。这种模式就是一种多播的方式,但是随着消息的不断增加,消费端来不及处理所有的数据。在没有持久化的功...

zookeeper客户端 和服务器连接时版本问题

在使用kafka 和zookeeper 实现实时分析程序时,由于zookeeper部署版本和分析程序导入jar包的版本不一致,导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报...
  • azhao_dn
  • azhao_dn
  • 2013年01月05日 17:18
  • 59136

读取zookeeper保存的topic元数据

读取zookeeper保存的topic元数据Table of Contents1. 有以下问题2. 解决方法3. 代码3.1. KafkaHelper类3.2. main.cc完整代码1 有以下问题需...

kafka在zookeeper中一些存储结构

本文主要查看kafka在zookeeper中的一些存储结构,便于更好的理解kafka的工作原理,其测试环境如下:kafka 0.8.1.1 zookeeper 3.4.51 Broker node 注...

Zookeeper在kafka中的应用

 Zookeeper在kafka中的应用 @20150606   简介 Kafka使用zookeeper作为其分布式协调框架,很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借...

Kafka设置系统运行日志输出路径

默认Kafka运行的时候都会通过log4j打印很多日志文件,比如server.log, controller.log, state-change.log等,而都会将其输出到$KAFKA_HOME/lo...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:kafka+zookeeper环境配置
举报原因:
原因补充:

(最多只允许输入30个字)