Apache kafka快速入门与配置安装

最新推荐文章于 2024-08-08 07:18:50 发布
最新推荐文章于 2024-08-08 07:18:50 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： kafka 文章标签： kafka apache
欢迎各位转载，转载请在文章页面中给出作者和原文链接！谢谢您配合
本文链接：https://blog.csdn.net/warybee/article/details/121955535
版权

本文目录

1. Kafa介绍

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，[3]这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了Kafka Streams——一个Java流式处理库。 -------摘自维基百科

1.1 Kafka应用场景

  • 日志收集：可以用Kafka可以收集各种服务的Log，通过Kafka以统一接口服务的方式开放 给各种Consumer；
  • 消息系统：解耦生产者和消费者、缓存消息等；
  • 用户活动跟踪： Kafka经常被用来记录Web用户或者App用户的各种活动，如浏览网页、搜索、点击 等活动，这些活动信息被各个服务器发布到Kafka的Topic中，然后消费者通过订阅这些Topic来做实时的 监控分析，亦可保存到数据库；
  • 运营指标： Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的 集中反馈，比如报警和报告；
  • 流式处理： 比如Spark Streaming和Storm。

1.2 核心概念

  • Producer

    消息的生产者

  • Consumer

    消息的消费者。 消费者订阅一个或多个主题，并按照消息生成的顺序读取它们。

  • Consumer Group

    每一个Consumer属于一个特定的Consumer Group，消费者可以通过指定group.id，来确定其所在消费组。group_id一般设置为应用的逻辑名称。比如多个订单处理程序组成一个消费组，可以设置group_id 为"order_process"。消费组均衡地给消费者分配分区，每个分区只由消费组中一个消费者消费。

  • Broker

    一个独立的Kafka 服务器被称为broker。 broker 为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。

  • Topic

    用来对消息进行分类，每个进入到Kafka的信息都会被放到一个Topic下。

  • Partition
    是Kafka下数据存储的基本单元，这个是物理上的概念。同一个topic的数据，会被分散的存储到多个partition中，这些partition可以在同一台机器上，也可以是在多台机器上。
    优势在于：有利于水平扩展，避免单台机器在磁盘空间和性能上的限制，同时可以通过复
    制来增加数据冗余性，提高容灾能力。为了做到均匀分布，通常partition的数量通常是Broker
    Server数量的整数倍。

在这里插入图片描述

1.3 Kafka架构

在这里插入图片描述

Kafka存储的消息来自任意多被称为“生产者”（Producer）的进程。数据从而可以被分配到不同的“分区”（Partition）、不同的“Topic”下。在一个分区内，这些消息被索引并连同时间戳存储在一起。其它被称为“消费者”（Consumer）的进程可以从分区查询消息。Kafka运行在一个由一台或多台服务器组成的集群上，并且分区可以跨集群结点分布。

Kafka高效地处理实时流式数据，可以实现与Storm、HBase和Spark的集成。作为聚类部署到多台服务器上，Kafka处理它所有的发布和订阅消息系统使用了四个API，即生产者API、消费者API、Stream API和Connector API。

Kafka有四个主要API：

  • 生产者API：支持应用程序发布Record流。
  • 消费者API：支持应用程序订阅Topic和处理Record流。
  • Stream API：将输入流转换为输出流，并产生结果。
  • Connector API：执行可重用的生产者和消费者API，可将Topic链接到现有应用程序。

以上图片和文字摘自维基百科，https://zh.wikipedia.org/wiki/Kafka

2. Kafka安装与配置

  • 安装环境：centos7
  • jdk1.8
  • zookeeper3.7
  • kafka 2.12-3.0.0

2.1 安装Java

  • 下载JDK，上传至服务器，并解压。

  • 配置环境变量

    vim /etc/profile

    在profile文件最下面添加如下配置（JAVA_HOME目录改成自己的）：

    export JAVA_HOME=/usr/software/jdk1.8.0_261
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

    # 生效
source /etc/profile
# 验证
java -version

2.2 安装Zookeeper

PS：Kafka中已经集成Zookeeper，可以不用单独安装Zookeeper，直接使用集成的。

到Apache ZooKeeper下载Zookeeper。下载地址：https://zookeeper.apache.org/releases.html

  • 下载完成后，将zookeeper压缩包上传到linux系统

  • 解压

    tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz

  • 修改配置⽂件名称

    cd conf
mv zoo_sample.cfg zoo.cfg

  • 修改zoo.cfg中的data和Log属性

    # the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/software/apache-zookeeper-3.7/datas
dataLogDir=/usr/software/apache-zookeeper-3.7/datas/logs

  • 验证Zookeeper

    进入到安装的bin目录

    ./zkServer.sh status

关于kafka集成的zookeeper和自己安装zookeeper如何选择。

  • 学习、测试阶段使用kafka集成的即可，简单方便。

生产环境，建议自己单独安装zookeeper，原因如下：

  • 自带的这个默认配置是单机版的，一般来说生产环境肯定是要做集群来保证高可用，如果直接改自带的这个配置也不是不可以，但万一改错了把 Kafka 弄坏了咋整？
  • 一般来说 ZK 集群和 Kafka 集群应该分离才对，但二进制包里它俩耦合在一起了，为了部署 ZK 集群连带着拷贝了 Kafka 目录有点儿多余（费点儿心思单独拷出来也不是不行……），所以索性不去动它，另起一套。

2.3 Kafka安装与配置

到Kafka官网下载：https://kafka.apache.org/downloads

  • 上传下载的Kafka压缩包到服务器并解压：

     tar -zxvf kafka_2.12-3.0.0

  • 配置kafka_2.12-3.0.0/config中的server.properties文件：

    Kafka连接Zookeeper的地址，此处使用本地启动的Zookeeper实例，连接地址是localhost:2181， 后面的 myKafka 是Kafka在Zookeeper中的根节点路径，把Kafka的元数据，保存到myKafka 节点下。如果不指定节点，kafka的节点保存到Zookeeper的根节点下。

    ############################# Zookeeper #############################

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=localhost:2181/mykafka

  • 启动Zookeeper

    如果是自己安装的Zookeeper，则进入到Zookeeper安装目录下的bin目录，执行如下命令

    ./zkServer.sh  start

# 查看zookeeper状态
./zkServer.sh status

    如果使用kafka集成的Zookeeper，进入到kafka安装目录下的bin目录，执行如下命令

    ./zookeeper-server-start.sh  ../config/zookeeper.properties

  • 前台启动kafka

    进入到kafka安装目录下的bin目录，执行如下命令

     ./kafka-server-start.sh  ../config/server.properties

    此时Kafka是前台模式启动，关闭shell窗口后，kafka就会停止

  • 后台启动kafka

     ./kafka-server-start.sh  -daemon ../config/server.properties

  • 查看Kafka的后台进程

    ps -ef | grep kafka

  • 停止后台运行的Kafka

     ./kafka-server-stop.sh

3.kafka快速体验

3.1 创建主题

创建一个名为test的主题

./kafka-topics.sh --create --partitions 1 --replication-factor 1 --topic test --bootstrap-server localhost:9092

获取test主题详细信息

./kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

列出所有可用的主题（topic）

./kafka-topics.sh  --list --bootstrap-server localhost:9092

3.2 发送消息

向test主题中写入消息

./kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
This is my first msg
This is my second msg

可以使用 Ctrl-C 停止生产者客户端

3.3 消费消息

打开另一个终端会话读取刚刚写入的消息

./kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
This is my first msg
This is my second msg

可以使用 Ctrl-C 停止消费者者客户端

warybee
关注
专栏目录
UI for Apache Kafka
跟着大数据和AI去旅行
11-21 1715
UI for Apache Kafka
Spring for Apache Kafka概述和简单入门
一起学习一起进步~
09-08 555
Spring for Apache Kafka 的高级概述以及底层概念和可运行的示例代码。
kafka-ui:用于Apache Kafka管理的开源Web GUI
03-29
Kafka UI – Kafka的免费Web UI Kafka UI是一个免费的开源Web UI，用于监视和管理Apache Kafka集群。 Kafka UI是一个简单的工具，可让您观察到数据流，帮助更快地查找和排除问题并提供最佳性能。 它轻巧的仪表板使您可以轻松跟踪Kafka集群的关键指标-代理，主题，分区，生产和消费。 仅需几个简单的命令即可设置Kafka UI，从而以一种易于理解的方式可视化您的Kafka数据。 您可以在本地或在云中运行该工具。 特征 多集群管理—集中监视和管理所有集群 使用指标仪表板进行性能监控—使用轻量级仪表板跟踪关键的Kafka指标 查看Kafka经纪人—查看主题和分区分配，控制器状态 查看Kafka主题-查看分区计数，复制状态和自定义配置 查看消费者组—查看按分区停放的偏移量，合并和按分区滞后 浏览消息-使用JSON，纯文本和Avro编码浏览消息 动态
探索与管理Apache Kafka的利器——UI for Apache Kafka
最新发布
gitblog_00735的博客
08-08 943
探索与管理Apache Kafka的利器——UI for Apache Kafka 项目地址:https://gitcode.com/gh_mirrors/ka/kafka-ui 在大数据和实时流处理的世界里，Apache Kafka无疑是一个强大的工具。然而，管理和监控Kafka集群并不总是那么简单。这就是UI for Apache Kafka闪亮登场的地方，它为你提供了一个直观且功能齐全的We...
简单搭建 Apache Kafka 分布式消息系统
weixin_34419326的博客
10-18 180
早先都是用的基于 JMS 规范的消息系统, 像 ActiveM...
消息订阅发布系统Apache Kafka分布式集群环境搭建和简单测试
weixin_34128237的博客
09-09 121
一、什么是kafka?　　kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）二、kafka的官方网站在哪里？　　htt...
Apache Kafka入门与集群配置详解
第二章“搭建Kafka集群”重点在于实际操作，指导读者设置单节点集群，先部署ZooKeeper服务器和Kafka Broker，然后创建主题，并通过命令行工具进行生产者和消费者的配置与启动。对于多节点集群的搭建，也进行了相应的...
Apache Kafka 入门 - Kafka-manager的基本配置和运行-附件资源
03-05
Apache Kafka 入门 - Kafka-manager的基本配置和运行-附件资源
Apache Kafka 集群环境搭建
chenjunxi216的专栏
01-14 482
Apache Kafka 是一个高吞吐量分布式消息系统，由LinkedIn开源。引用官网对kafka的介绍：“Apache Kafka is publish-subscribe messaging rethought as a distributed commit log.”  “publish-subscribe”是kafka设计的核心思想，也是kafka最具特色的地方。publish在kak...
Kafka ui 搭建以及使用
热门推荐
青冬的博客
12-07 1万+
kafka 本身没有自带相关的 ui 界面，但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset 等等。但实际使用中这种效果很差劲，我们一般还是会借助其他软件，实现对 kafka 的页面管控。结合这张图与实际体验，推荐大家使用 ui for apache kafka 进行 kafka 的 ui 界面化管理。其实 kafka-ui 是没有安装过程的，在 github 上已经打包成了 jar 包，当前最新版本为 ,下载地址如下：https://git
aws-ec2部署UI-for-Apache-Kafka
qq_36227153的博客
07-26 357
###要运行Apache Kafka的UI，可以使用预构建的Docker映像或在本地构建它。项目地址：https://github.com/provectus/kafka-ui。访问 Web UI。
使用Docker搭建Apache Kafka环境
neweastsun的专栏
10-17 2190
本文使用Docker技术创建单个Kafka节点和Kafka集群环境，并且使用可视化工具连接服务查看代理服务器的配置信息。
探索 Provectus 的 Kafka-UI：可视化管理 Apache Kafka 的利器
gitblog_00035的博客
03-20 690
探索 Provectus 的 Kafka-UI：可视化管理 Apache Kafka 的利器 kafka-uiprovectus/kafka-ui: Kafka-UI 是一个用于管理和监控Apache Kafka集群的开源Web UI工具，提供诸如主题管理、消费者组查看、生产者测试等功能，便于对Kafka集群进行日常运维工作。项目地址:https://gitcode.com/gh_mirrors...
Kafka-UI
wsdhla的专栏
09-21 1399
kafka-UI
kafka ui
shenyunsese的专栏
10-07 5770
kafka ui，一款kakfa的web管理工具,支持多集群管理。以下是各种kafka管理工具的对比。
Apache Kafka消息队列
z1987865446的博客
10-21 663
概述 Apache Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间解耦、异步通信、削峰填谷等场景。 同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同，Kafka Streaming计算是运行在应用端，具有简单、入门要求低、部署方便等优点。总体来说Kafka这门课程需要大家掌握以下两个方面： 消息队列Message Queue Kafka Streaming 流处理 消息队列是一种
Kubernetes 1.28.2安装配置kafka集群及UI for Kafka
xbll263的博客
03-01 1133
以下红色的是修改或增加的内容：(增加了namespace, 增加了nodePort和修改了storage class的名称，本测试环境使用了Minio的CSI的directpv-min-io作为storage class)安装配置开源免费的UI for Kafka 图形化web界面管理kafka的步骤。然后在浏览器运行：（192.168.249.10是kubernetes cluster的master node的ip)查询到container名称也为：kafka-producer。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

warybee

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值