目录
Kafka系列:
kafka管理监控系统 CMAK(yahoo的kafka-manager)部署及使用
Kafka系列(三)、生产者分区策略、ISR、ACK机制、一致性语义
Kafka系列(四)、消费者策略、Rebalance机制、Offset存储机制
Kafka系列(五)、开启SASL安全认证以及配置ACL权限控制
Kafka系列(六)、Kafka开发套件kafka lenses 安装及使用(带WebUI)
简介
Confluent 由kafka的核心成员成立,目前最新版Confluent为v5.5.1版本,对应的kafka版本为Apache Kafka_v2.5.0,在Confluent中不仅包含了kafka,还有下面几个组件,增强了kafka的功能也大大提升了kafka的易用性。
- KSQL:通过SQL查询topic内的数据;
- Confluent Connetors:支持配置HDFS,Cassandra,MySQL,Oracle,Postgre,MongoDB,Kudu等数据源的source和sink;
- Confluent clients:支持Java,Python,C/C++,Go,.Net等客户端;
- Schema Registry:统一消息格式,提前将topic内的数据注册到schema目录表内,消费端无需判断消息内的数据类型,只需要从目录表内找到该主题对应的schema即可;
- REST Proxy:允许以RESTful api方式直接访问kafka;
- Confluent Control Center:提供WebUI可视化监控、运维以及开发,简化配置方式;(商业版的功能,试用期30天)
官方网址:https://www.confluent.io/
下载地址:https://www.confluent.io/download/
单机部署
本次我们安装的是最新版的v5.5.1版本,单机版的安装非常简单,安装步骤如下:
0. JDK1.8(略)
1. 解压tar包
tar -zxvf confluent-5.5.1-2.11.tar.gz -C /opt/app/
2. 配置环境变量
vim /etc/profile
----------------