Kafka 安装和测试

转载 2016年05月31日 13:53:17
1. 简介 

kafka (官网地址:http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。 

 

i. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。

ii. 多个broker协同合作,producer、consumer和broker三者之间通过zookeeper来协调请求和转发。 

iii. producer产生和推送(push)数据到broker,consumer从broker拉取(pull)数据并进行处理。 

iv. broker端不维护数据的消费状态,提升了性能。 

v. 直接使用磁盘进行存储,线性读写,速度快:避免了数据在JVM内存和系统内存之间的复制,减少耗性能的创建对象和垃圾回收。 

vi. Kafka使用scala编写,可以运行在JVM上。 

2. 安装: 

a. 首先安装JRE/JDK 

Linux安装JDK 

b. 下载kafka 

进入下载页面:http://kafka.apache.org/downloads.html 

选择Binary downloads下载 (Source download需要编译才能使用) 

也可以直接在linux终端下载: 
Shell代码  收藏代码
  1. wget -q http://apache.fayea.com/apache-mirror/kafka/0.8.1/kafka_2.8.0-0.8.1.tgz  


c. 解压 
Shell代码  收藏代码
  1. tar -xzvf kafka_2.8.0-0.8.1.tgz  
  2. rm kafka_2.8.0-0.8.1.tgz  
  3. cd kafka_2.8.0-0.8.1  


目录: 


/bin 启动和停止命令等。 
/config 配置文件 
/libs 类库 

d. 修改配置 
Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh文件 
Shell代码  收藏代码
  1. vi bin/kafka-run-class.sh  


找到如下行: 
Sh代码  收藏代码
  1. KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"  

去除-XX:+UseCompressedOops参数 

3. 启动和停止 

启动Zookeeper server: 
Shell代码  收藏代码
  1. bin/zookeeper-server-start.sh config/zookeeper.properties &  

&是为了能退出命令行 

启动Kafka server: 
Shell代码  收藏代码
  1. bin/kafka-server-start.sh config/server.properties &  


停止Kafka server 
Shell代码  收藏代码
  1. bin/kafka-server-stop.sh  


停止Zookeeper server: 
Shell代码  收藏代码
  1. bin/zookeeper-server-stop.sh  


4. 单机连通性测试 

运行producer: 
Shell代码  收藏代码
  1. bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test  

早版本的Kafka,--broker-list localhost:9092需改为--zookeeper localhost:2181 

运行consumer: 
Shell代码  收藏代码
  1. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning  

在producer端输入字符串并回车,查看consumer端是否显示。 

5. 分布式连通性测试 

Zookeeper Server, Kafka Server, Producer都放在服务器server1上,ip地址为192.168.1.10 
Consumer放在服务器server2上,ip地址为192.168.1.12。 

分别运行server1的producer和server2的consumer, 
Shell代码  收藏代码
  1. bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test  


Shell代码  收藏代码
  1. bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2181 --topic test --from-beginning  


在producer的console端输入字符串,consumer报Connection refused错误: 


broker, producer和consumer都注册到zookeeper上,producer和consumer的参数明确指定。问题出在broker的配置文件server.properties上: 
Properties代码  收藏代码
  1. # Hostname the broker will bind to. If not set, the server will bind to all interfaces  
  2. #host.name=localhost  

host名称没有指定,就是127.0.0.1,consumer去broker拿数据就有问题。设置为192.168.1.10,重启服务就好了。

Kafka的安装和简单实例测试

Kafka的安装和简单实例测试  阮榕城 2016年11月20日 (updated: 2016年11月21日) 2129 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者...
  • a925907195
  • a925907195
  • 2017年07月31日 18:08
  • 441

kafka单机简单安装与测试

kafka单机简单安装与测试 1,下载并解压kakfa 地址 http://kafka.apache.org/downloads.html解压 kafka_2.10-0.10.1.1.tgz2,kaf...
  • yangyangiud
  • yangyangiud
  • 2017年01月04日 22:56
  • 444

flume-ng+kafka单机安装测试

flume-ng整合kakfa单点安装与测试
  • u012492282
  • u012492282
  • 2016年04月18日 21:59
  • 1339

Kafka集群部署及测试

目前我们对大数据进行研究方向以Spark为主,其中Spark Streaming是可以接收动态数据流并进行处理,那么Spark Streaming支持多源的数据发送端,例如TCP、ZeroMQ、自然也...
  • chinagissoft
  • chinagissoft
  • 2016年03月28日 09:34
  • 1738

Kafka性能测试方法及Benchmark报告

本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要   本...
  • u010670689
  • u010670689
  • 2016年03月31日 12:02
  • 1828

Storm和Kafka的集成安装和测试

1、先保证Storm集群已经安装 Storm集群的安装可以参考文章:Storm集群的安装,Kafka的安装和测试也可以参考apache kafka官网上的Quick Start 2、安装Kafk...
  • wb81074
  • wb81074
  • 2015年11月27日 16:00
  • 2726

kafka+zookeeper环境配置(linux环境单机版)

一.zookeeper下载与安装 1)下载 $ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3....
  • u013244038
  • u013244038
  • 2016年12月15日 15:11
  • 1696

【Kafka】Kafka在Linux下安装和测试

1.下载kafka 进入kafka官网:http://kafka.apache.org/downloads.html 选择Binary downloads下载【注:Source download需要编...
  • lml282518588
  • lml282518588
  • 2015年12月02日 15:39
  • 3457

kafka安装和测试

1. 简介  kafka (官网地址:http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。    i. 消息的发布(publish...
  • learneraiqi
  • learneraiqi
  • 2015年07月15日 16:58
  • 399

安装和测试Kafka

安装和测试Kafka 原文地址:http://blog.javachen.com/2015/03/17/install-and-test-kafka.html 2015.03.17 | C...
  • chenjieit619
  • chenjieit619
  • 2016年06月17日 19:00
  • 176
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka 安装和测试
举报原因:
原因补充:

(最多只允许输入30个字)