Kafka概述以及安装配置

一、Kafka概述

PUBLISH & SUBSCRIBE
Read and write streams of data like a messaging system.
发布和订阅
读取和写入数据流，类似消息传递系统。
PROCESS
Write scalable stream processing applications that react to events in real-time.
编写可扩展的流处理应用程序，以实时响应事件。
STORE
Store streams of data safely in a distributed, replicated, fault-tolerant cluster.
存储
将数据流安全地存储在分布式、多副本、容错的群集中。
Kafka® is used for building real-time data pipelines and streaming apps.
It is horizontally scalable, fault-tolerant, wicked fast,
and runs in production in thousands of companies.
Kafka®用于构建实时数据管道和流应用程序。 它具有横向可扩展性、容错性、快速性，并在数千家公司的生产中运行。

二、Kafka架构及核心概念

1）生产者
2）消费者
3）broker
4）topic

消费者和生产者约定指定的topic来传递特定数据

三、Kafka部署及使用

由于kafka使用scala开发

1、下载jdk1.8

到这里查看jdk得安装，基本所有的编译好的包，linux都是下载包后将路径添加到PATH中
https://blog.csdn.net/u013429010/article/details/81744749

2、下载安装scala

这里我们使用scala2.11
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
解压tar -xzvf scala-2.11.12.tgz -C /app/cdh/
路径添加到环境变量中
vim /etc/profile (如果有用户的就是 vim ~/.bash_profile)

export SCALA_HOME=/app/cdh/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH

source /etc/profile 生效后
使用scala -version查看是否成功

3、下载安装zookeeper

这里我们使用cdh的zookeeper-3.4.5-cdh5.15.0.tar.gz版本，以防止版本不兼容造成的问题
http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.15.0.tar.gz
解压tar -xzvf zookeeper-3.4.5-cdh5.15.0.tar.gz -C /app/cdh/
路径添加到环境变量中
vim /etc/profile (如果有用户的就是 vim ~/.bash_profile)

export ZOOKEEPER_HOME=/app/cdh/zookeeper-3.4.5-cdh5.15.0
export PATH=$ZOOKEEPER_HOME/bin:$PATH

source /etc/profile 生效后

cd $ZOOKEEPER_HOME/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/app/tmp/zookeeper

zkServer.sh start
启动zookeeper

4、下载安装kafka

下载scala2.11版本对应的kafka
https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
解压tar -xzvf kafka_2.11-2.0.0.tgz -C /app/cdh/
路径添加到环境变量中
vim /etc/profile(如果有用户的就是 vim ~/.bash_profile)

export KAFKA_HOME=/app/cdh/kafka_2.11-2.0.0
export PATH=$KAFKA_HOME/bin:$PATH

source /etc/profile 生效
总结：
linux应用中但凡是有已经编译的版本，就可以下载编译完的版本，按照以上套路进行安装

5、cd $KAFKA_HOME/config 配置 vim server.properties

单节点单broker：

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
#这个参数是broker的id,必须设置成数字并且，多个broker之间不重复
listeners=PLAINTEXT://DEV2:9092  #当前机器hostname
log.dirs=/data/kafka/server-0
zookeeper.connect=DEV2:2181

配置完毕后启动kafka
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
创建topics
kafka-topics.sh --create --zookeeper DEV2:2181 --replication-factor 1 --partitions 1 --topic test
查看topics：
kafka-topics.sh --list --zookeeper DEV2:2181
发送消息：
kafka-console-producer.sh --broker-list DEV2:9092 --topic test
消费消息：

kafka-console-consumer.sh --bootstrap-server DEV2:9092 --topic test --from-beginning
kafka-topics.sh --describe --zookeeper DEV2:2181
kafka-topics.sh --describe --zookeeper DEV2:2181 --topic test

注意：
如果在参数中添加–from-beginning ，则每次重启kafka-console-consumer.sh后都会从头开始消费