KerarchOS(KOS)安装Kafka

目录

1 概述

2 安装准备

2.1 操作系统环境

2.2 JDK版本

2.3 ZooKeeper版本

2.4 Kafka版本

3 安装

3.1 安装JDK

3.2 安装ZooKeeper

3.3 安装Kafka

4 运行Kafka

4.1 创建生产者

4.2 创建消费者

4.3 效果测试

---

1 概述

KeyarchOS是浪潮信息基于OpenAnolis开源操作系统自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位。浪潮信息KOS服务器操作系统-服务器操作系统-浪潮信息 (ieisystem.com)

Kafka是一种高吞吐量的分布式发布订阅消息系统（消息引擎系统），它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。其实我们简单点理解就是系统A发送消息给kafka（消息引擎系统），系统B从kafka中读取A发送的消息。而kafka就是个中间商。Kafka的运行依赖Java 8和ZooKeeper两个环境，所以下面将从安装JDK 8和ZooKeeper的环境开始的。

2 安装准备

2.1 操作系统环境

版本信息：KerarchOS 5.8sp1

硬件平台：X86_64

2.2 JDK版本

JAVA -1.8.0-openjdk(已经在KOS AppSteam仓库发布)

2.3 ZooKeeper版本

apache-zookeeper-3.7.1

https://zookeeper.apache.org/releases.html

2.4 Kafka版本

kafka_2.12-3.4.1

https://kafka.apache.org/downloads

3 安装

3.1 安装JDK

运行java –version 查看系统未安装Java 8

JAVA -1.8.0-openjdk 已经在KOS AppSteam仓库发布，可以通过yum install直接安装。运行命令“yum install java”

3.2 安装ZooKeeper

1、官网下载安装包：apache-zookeeper-3.7.1-bin.tar.gz

https://zookeeper.apache.org/releases.html

2、创建存放文件夹

mkdir  zookeeper

3、在zookeeper文件夹下解压安装包

 tar zxvf apache-zookeeper-3.7.1-bin.tar.gz

4、在zookeeper的conf目录下修改配置文件名（启动zookeeper的时候会去找zoo.cfg）   

mv zoo_sample.cfg zoo.cfg

5、在bin目录下启动zookeeper

 ./zkServer.sh start

3.3 安装Kafka

1、官网下载安装包：kafka_2.12-3.4.1.tgz

https://kafka.apache.org/downloads

2、创建存放文件夹

mkdir  mnt

3、在mnt文件夹下解压安装包

 tar zxvf kafka_2.12-3.4.1.tgz

4、在config目录下修改配置文件server.properties   

（1）填写kafka所在的服务器ip

(2)填写zookeeper所在的服务器ip

5、在bin目录下启动kafka

nohup ./kafka-server-start.sh ../config/server.properties >/dev/null 2>& 1 &

4 运行Kafka

4.1 创建生产者

在一个终端执行创建生产者： (推消息到wd_test)

cd /mnt/kafka_2.12-3.4.1/bin/ #进入kafka目录

./kafka-console-producer.sh --broker-list [your host]:9092 --topic test  #(test为你要建立的topic名)

4.2 创建消费者

在一个终端执行创建消费者： (从test上消费消息)

cd /mnt/kafka_2.12-3.4.1/bin/ #进入kafka目录

./kafka-console-consumer.sh --bootstrap-server [your host]:9092 --topic test #消费test的topic消息

4.3 效果测试

生产者端不断推送消息，消费者端则不断消费者这个消息

生产者端：

消费者端：