Kafka(二):Kafka安装与使用

原创 2018年04月15日 16:42:47

一、安装Kafka

官方快速安装文档:http://kafka.apache.org/quickstart

安装kafka
下载最新版本kafka
[root@Basic apps]# wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
[root@Basic apps]# tar -zxvf kafka_2.11-1.1.0.tgz 
启动zookeeper服务
[root@Basic apps]# cd kafka_2.11-1.1.0

如果本地有zookeeper,可以启动本地安装的zookeeper,如果没有就使用kafka自带的zookeeper
[root@Basic kafka_2.11-1.1.0]# bin/zookeeper-server-start.sh config/zookeeper.properties


[2018-02-27 05:43:09,969] INFO tickTime set to 3000 (org.apache.zookeeper.server.ZooKeeperServer)
[2018-02-27 05:43:09,970] INFO minSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)
[2018-02-27 05:43:09,971] INFO maxSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)
[2018-02-27 05:43:10,060] INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)
启动kafka服务
[root@Basic kafka_2.11-1.1.0]# bin/kafka-server-start.sh config/server.properties

二、Kafka操作

1. 创建Topic

创建一个名叫kafka_test, 一个复制因子一个分区的Topic

[root@Basic kafka_2.11-1.1.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafka_test
WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.
Created topic "kafka_test".
2. 列出所有Topic
[root@Basic kafka_2.11-1.1.0]# bin/kafka-topics.sh --list --zookeeper localhost:2181
kafka_test
3. 连接生产者,发送消息
[root@Basic kafka_2.11-1.1.0]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_test

> hello, kafka
4. 创建一个消费者,接收消息
[root@Basic kafka_2.11-1.1.0]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic kafka_test --from-beginning

hello, kafka


旧版本过时方式:
[root@Basic kafka_2.11-1.1.0]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka_test --from-beginning

from-beginning 表示从第一条记录开始读,即使已经生产者发送过很早条消息,并且已经有消费者读了很多条了, 这个消费者也能从第一条重新开始读,并且不影响其他消费者读的偏移量。

5. 查看Topic状态
[root@Basic kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_test
Topic:kafka_test        PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: kafka_test       Partition: 0    Leader: 0       Replicas: 0     Isr: 0
版权声明:本文为博主原创文章,转载请注明出处http://blog.csdn.net/saytime https://blog.csdn.net/saytime/article/details/79950599

第四步:kafka中建立kafka-topics 源代码内幕解密

第四步:kafka中建立kafka-topics 源代码内幕解密 kafka-topics.sh --create 脚本命令执行create topic语句,进入到kafka.admin.Topi...
  • duan_zhihua
  • duan_zhihua
  • 2016-05-03 09:54:51
  • 2640

Kafka解析之topic创建(1)

在使用kafka发送消息和消费消息之前,必须先要创建topic,在kafka中创建topic的方式有以下2种: 如果kafka broker中的config/server.properties配置...
  • u013256816
  • u013256816
  • 2018-02-10 11:15:01
  • 463

Kafka消费者生产者编程模型(二)

浅谈Master的HA [睡着的水-hzjs-2016.08.25] 三、Kafka生产者编程模型(接上文 Kafka消费者生产者编程模型(一)) -----1、同步生产模型 ----...
  • LongHai_Zheng
  • LongHai_Zheng
  • 2016-08-25 18:00:27
  • 649

kafka消息队列集群安装说明

  • 2017年11月10日 14:17
  • 24KB
  • 下载

Kafka学习整理二(定义、特点、应用场景)

Kafka是什么 Kafka最先由LinkedIn公司开发,之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Kafka实现了公司不同应用程...
  • LOUISLIAOXH
  • LOUISLIAOXH
  • 2016-05-27 14:59:50
  • 5496

apache kafka系列之安装与使用

1.前言 学习kafka的基础是先把kafka系统部署起来,然后简单的使用它,从直观上感觉它,然后逐步的深入了解它。 本文介绍了kafka部署方法,包括配置,安装和简单的使用。 2.kafk...
  • lizhitao
  • lizhitao
  • 2014-05-13 02:51:36
  • 10201

Kafka集群的安装和使用

Kafka是一种高吞吐量的分布式发布订阅的消息队列系统,原本开发自LinkedIn,用作LinkedIn的活动流(ActivityStream)和运营数据处理管道(Pipeline)的基础。现在它已被...
  • panjinxiang4217
  • panjinxiang4217
  • 2017-08-30 10:10:27
  • 913

Mac 安装使用kafka

1. 安装kafka $   brew install kafka (1)  安装过程将依赖安装 zookeeper (2)  软件位置 /usr/local/Cellar/zookeeper...
  • shuaidan19920412
  • shuaidan19920412
  • 2018-01-20 15:43:08
  • 271

kafka 安装和使用测试(mac版)

1.确保已安装zookeeper(见zookeeper安装mac版本) 2.安装kafka,命令:brew install kafka 3.启动 zookeeper-server-start /...
  • yu_meiguang
  • yu_meiguang
  • 2017-08-29 19:13:27
  • 494

Kafka在Windows安装运行

摘要:本文主要说明了如何在Windows安装运行Kafka
  • Evankaka
  • Evankaka
  • 2016-09-15 14:00:15
  • 30914
收藏助手
不良信息举报
您举报文章:Kafka(二):Kafka安装与使用
举报原因:
原因补充:

(最多只允许输入30个字)