Kafka单节点安装

原创申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计3186字，阅读大概需要3分钟
欢迎关注我的个人公众号：不懂开发的程序猿

一、任务描述

本实验任务主要完成基于ubuntu环境掌握Kafka单节点安装的工作。通过完成本实验任务，要求学生熟练掌握Kafka单节点安装的方法，为后续实验的开展奠定Kafka平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。

二、任务目标

1、掌握Kafka单节点安装的过程

三、任务环境

Ubuntu、kafka2.9.2

四、任务分析

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。

1. 学会Kafka单节点安装的过程。

五、 任务实施

步骤1、Kafka单节点安装

右击桌面上选择【Open Terminal Here】打开终端。
  在弹出的终端中输入【cd /simple/soft】进入软件包的所在文件夹中,并通过【ls】查看文件夹下所有软件。如图1所示。

图1 查看软件包
  使用命令【tar -zxvf kafka_2.11-0.8.2.1.tgz -C /simple】解压Hbase到simple目录下。如图2所示。

图2 解压Kafka软件包
  使用【cd /simple】进入软件的所在文件夹中,并通过【ls】查看文件夹下所有软件,然后使用命令【mv kafka_2.11-0.8.2.1 kafka】重命名为kafka。如图3所示。

图3 重命名Kafka
  进入到Kafka的config目录下， 修改vim zookeeper.properties文件。如图4所示。

图4 修改zookeeper.properties文件
  进入到Kafka的config目录下， 修改vim server.properties文件。如图5所示。

图5 修改server.properties文件

步骤2、启动kafka

进入到Kafka bin文件下，通过命令【./zookeeper-server-start.sh ../config/zookeeper.properties】来启动zookeeper服务。如图6所示。

图6 启动zookeeper
  重新开启一个终端,利用【jps】查看zookeeper进程。如图7所示。

图7 查看zookeeper进程
  进入到Kafka bin文件下，通过命令【./kafka-server-start.sh ../config/server.properties】来启动Kafka服务。如图8所示。

图8 启动Kafka
  重新开启一个终端,利用【jps】查看Kafka进程。如图9所示。

图9 查看Kafka进程
  进入到Kafka bin文件下，使用命令【./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test】,【./kafka-topics.sh --list --zookeeper localhost:2181】 创建并查看Topic。如图10所示。

图10 创建并查看Topic
  进入到Kafka bin文件下，使用命令【./kafka-console-producer.sh --broker-list localhost:9092 --topic test】创建并使用生产者发送消息，每行是一条独立的消息。如图11所示。

图11 创建生产者发送消息
  重新开启一个终端,进入到Kafka bin文件下，使用命令【./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning】消费者接收消息 。如图12所示。

图12 创建生产者发送消息

♥ 知识链接
Topics/logs

一个Topic可以认为是一类消息，每个topic将被分成多个partition(区),每个partition在存储层面是append log文件。任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量），offset为一个long型数字，它是唯一标记一条消息。它唯一的标记一条消息。kafka并没有提供其他额外的索引机制来存储offset，因为在kafka中几乎不允许对消息进行“随机读写“。

♥ 温馨提示
Kafka集群包含一个或多个服务器，这种服务器被称为broker