消息队列Kafka入门介绍---环境搭建

          写这一篇关于消息队列Kafka的入门介绍是因为之前做的项目中应用到这一消息中间件,从环境搭建到简单应用,到最后一些深入的研究与分析,在这个过程中还是有很多知识点可以分享学习的,另外活到老,学到老,还是动动手指,记录一下学习kafka过程中的点点滴滴。

 

 1、环境安装(ubuntu下安装kafka)

(1)首先需要安装java环境(jdk1.8)

      这块就不介绍了

(2)其次安装zookeeper(分布式协调服务)

      Zookeeper是一个高性能,开源的分布式协调服务的应用,它提供了许多功能,使分布式应用可以基于它实现更高级的服务。它的出现可以使我们更好的治理分布式服务。

   1.下载zookeeper-3.4.10.tar.gz

           分别解压到/usr/local目录下

   2.进入zookeeper目录,在conf目录下将zoo_sample.cfg文件拷贝,并更名为zoo.cfg

zoo.cfg内容如下:

需要更改的配置如下:

    1、新建dataDir和dataLogDir两个文件路径,clientPort配置的是与kafka通信的端口

 2、clientPort :客户端访问zookeeper时经过服务器端时的端口号

   3、 server.id=host:port:port : 表示了不同的zookeeper服务器的自身标识,作为集群的一部分,每一台服务器应该知道其他服务器的信息。用户可以从“server.id=host:port:port” 中读取到相关信息。

(3)安装kafka

   1、下载kafka     kafka_2.9.2-0.8.1.1.tgz

   2、同样也是解压到/usr/local文件夹下

   3、修改server.properties

    

主要更改配置信息如下所示:

1、注意新版kafka已经取消了port和hostname的属性配置,都是通过listener来配置,9092是kafka默认的端口

2、如果要提供客户端远程访问,需要打开advertised.host.name的配置

3、需要指定与zookeeper.connect之间的端口。

 

2、kafka启动

(1)启动zookeeper

     在zookeeper文件夹下执行    zkServer.sh start

(2)启动kafka

        再启动kafka
        在kafka文件夹下执行  bin/kafka-server-start.sh config/server.properties

3、开启kafak的producer和consumer

1、创建一个主题
首先创建一个名为test的topic,只使用单个分区和一个复本
bin/kafka-topics.sh --create --zookeeper localhost:9999 --replication-factor 1 --partitions 1 --topic test


2、启动一个生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

bin/kafka-console-producer.sh --broker-list 132.232.28.164:9092 --topic test  (远程访问客户端)

3、启动一个消费者
bin/kafka-console-consumer.sh --zookeeper localhost:9999 --topic test 

bin/kafka-console-consumer.sh --zookeeper 132.232.28.164:9999 --topic test (远程访问消费者)

以上是从ubuntu下,通过命令行直接执行命令的方式,启动producer和consumer。

4、结束语

下一篇,开始讲解kafka的原理相关的知识

发布了61 篇原创文章 · 获赞 205 · 访问量 23万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术工厂 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览