Kafka系列一之架构介绍和安装

Kafka架构介绍和安装

写在前面
还是那句话，当你学习一个新的东西之前，你总得知道这个东西是什么？这个东西可以用来做什么？然后你才会去学习它，使用它。简单来说，kafka既是一个消息队列，如今，它也演变为一个分布式的流处理平台，这一点就是很厉害的了。所以，学习kafka对于大数据的小伙伴们来说，是非常有益的。
（一）Kafka概述
1.Kafka是一个分布式的流处理平台，有消息的订阅系统（订阅之后，一旦有新的消息产生，你就会收到消息），可以以多副本的方式进行存储，可以构建实时数据管道，以及实时的流处理，能够横向水平扩展，容错等特点。大数据的实时流处理场景很多时候都会使用到kafka

上面是官网中的图片
Kafka和消息系统类似，消息中间件的一种：有生产者和消费者的概念。

起源：

Kafka 是 Apache 基金会开源的一个分布式发布 - 订阅消息中间件，流处理平台。 它起源于 LinkedIn，由 Scala 和 Java两种语言编写而成。于 2011 年成为 Apache 项目，2012 成为 Apache 基金会下顶级项目。

Kafka 专为分布式高吞吐系统而设计。相比较其他消息中间件，如 RabbitMq 等，Kafka 具有更好的吞吐量，内置分区，复制和固有的容错能力，使得它非常适合应用在大数据领域。另外，Kafka 还支持离线、在线消费消息。

特性：

• 低延迟 - Kafka 支持低延迟消息传递，速度极快，能达到 200w 写/秒；
• 高性能 - Kafka对于消息的发布、订阅都具有高吞吐量。即使存储了 TB 级的消息，依然能够保证稳定的性能；
• 可靠性 - Kafka 是分布式，分区，复制和容错的，保证零停机和零数据丢失。
• 可拓展性 - Kafka 支持集群水平拓展。
• 耐用性 - Kafka 使用"分布式提交日志"，消息能够快速的持久化的磁盘上。

（二）Kafka架构

从上面官网给出的图片中，我们知道，kafka是有以下几个主要的该丽娜
1）producer：生产者，

2）consumer：消费者，

3）broker：一个broker就是一个kafka,

4）topic：主题，给生产的消息打上一个标签，代表是谁生产的.

First a few concepts:[几个概念]
Kafka is run as a cluster on one or more servers.

The Kafka cluster stores streams of records in categories called topics.

Each record consists of a key, a value, and a timestamp.

（三）Kafka的安装部署
我们首先来到官网上去，http://kafka.apache.org/quickstart
从这个快速开始中，知道我们的kafka是依赖于zookeeper的，所以我们第一步来安装zookpeer,然后安装Kafka

zookeeper的安装

1. 下载zookeeper，地址在cdh5的页面http://archive.cloudera.com/cdh5/cdh/5/
2. 解压到自己指定的目录中去，我一般喜欢~/app，这个看自己的习惯就好，这里我把解压后的文件修改名称为zk,
3. 把解压的目录导出，

[hadoop@hadoop000 zk]$ vim ~/.bash_profile 
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH

export FLUME_HOME=/home/hadoop/app/flume
export PATH=$FLUME_HOME/bin:$PATH


export ZK_HOME=/home/hadoop/app/zk
export PATH=$ZK_HOME/bin:$PATH

#:wq 保存退出

4.再source一个系统环境

[hadoop@hadoop000 zk]$ source ~/.bash_profile 
[hadoop@hadoop000 zk]$ 

5.配置zookeeper，来到解压目录下的conf文件
拷贝一份

[hadoop@hadoop000 conf]$ cp zoo_sample.cfg zoo.cfg
[hadoop@hadoop000 conf]$ vim zoo.cfg 
#修改数据的临时存放目录，默认是在tmp目录下的
dataDir=/home/hadoop/app/tmp/zk
#:wq 保存退出

6.启动zookeeper

[hadoop@hadoop000 conf]$ cd ../bin/
[hadoop@hadoop000 bin]$ zkServer.sh start
JMX enabled by default
Using config: /home/hadoop/app/zk/bin/../conf/zoo.cfg
Starting zookeeper ... already running as process 10943.
[hadoop@hadoop000 bin]$ 

7.查看进程

[hadoop@hadoop000 bin]$ jps
27179 Jps
10943 QuorumPeerMain
[hadoop@hadoop000 bin]$ 
#看见QuorumPeerMain，说明就启动成功了

Kafka的安装部署

按照官网上的指南，我们先下载Kafka,点击官网上面的downloadhttp://kafka.apache.org/downloads 在选择版本的时候，我们推荐使用0.9.0.0版本的，目前这个版本在上产上比较常用，

1. 下载https://archive.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz 因为kafka是scala语言写的，后面我们也可能会使用到scala，因为我安装的scala是2.11版本。这个下载的版本主要看自己的情况，在官网上选择合适的就好
2. 解压到指定目录，再导出到系统环境中‘’

[hadoop@hadoop000