一.Kafka简介
1.介绍
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
2.Zookeeper的功能以及工作原理
ZooKeeper是什么? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
二.环境搭建要求
-
Linux服务器
-
Java环境(jdk1.8以上)
-
没wget需要 yum -y install wget 安装
-
定义zookeeper目录结构:mkdir -p /opt/zookeeper
-
定义kafka目录: Mkdir -p /opt/kafka
-
下载zookeeper包: cd /opt/zookeepe
wget https://mirrors.aliyun.