Kafka - 基本概述&操作

消息队列

在这里插入图片描述

两种模式

  1. 点对点(一对一,消费者消费后立刻清除消息)
    在这里插入图片描述
  2. 发布、订阅模式(一对多,消费者消费数据之后不会清除消息)
    在这里插入图片描述

基础架构

在这里插入图片描述

  1. Producer:消息生产者,想kafka broker发送消息的客户端
  2. Consumer:消息消费者,想kafka broker取消息的客户端
  3. Consumer Group(CG):消费者组,多个Consumer组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个消费者消费;消费者组之间互不影响,所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者
  4. Broker:一台kafka服务器就是一个broker,一个集群由多个broker组成。一个broker可以容纳多个topic
  5. topic:可以理解为一个队列,生产者和消费者面向的都是一个topic
  6. Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列
  7. Replica:副本,为保证集群中的某个节点发生故障时,该节点上的partition数据不丢失,且Kafka仍然能够继续工作,kafka提供了副本机制,一个topic的每个分区都有若干个副本,一个leader若干个follower
  8. leader:每个分区多个副本的主,生产者发送数据的对象,以及消费者消费数据的对象都是leader
  9. follower:每个分区多个副本中的从,实时从leader中同步数据,保持和leader数据的同步。leader发生故障时,某个follower会成为新的follower

安装

普通安装

# 解压
tar -zxvf kafka_2.13-2.5.0.tgz 

# 创建log文件夹(在kafka目录下)
mkdir logs

############################
# 修改文件server.properties
vim config/server.properties

# 1. broker.id(每个服务器唯一)
broker.id=1
delete.topic.enable=true

# 2. 日志路径
log.dirs=/home/soft/kafka/kafka_2.13-2.5.0/logs

# 3. zookeeper路径
zookeeper.connect=192.168.199.132:2181

# 4. listeners
listeners=PLAINTEXT://192.168.199.133:9092

# 环境变量
vim /etc/profile
export KAFKA_HOME=/home/soft/kafka/kafka_2.13-2.5.0
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile
############################

# 启动
bin/kafka-server-start.sh -daemon config/server.properties

终端操作

## 在kafka目录下

# 启动
bin/kafka-server-start.sh -daemon config/server.properties
# 停止
bin/kafka-server-stop.sh stop

# 查看该节点在zookeeper下的topic
bin/kafka-topics.sh --zookeeper 192.168.199.132:2181 --list
# 创建topic 名称+分区数+每个分区的副本数(leader+follower)
bin/kafka-topics.sh --zookeeper 192.168.199.132:2181 --create --topic first --partitions 3 --replication-factor 2
# 查看某个topic的详情(如first)
bin/kafka-topics.sh --zookeeper 192.168.199.132:2181 --describe --topic first
# 删除某个topic
bin/kafka-topics.sh --zookeeper 192.168.199.132:2181 --delete --topic first
# 修改分区数(只能增加不能减少,因为减少了分区的数据不好处理,Kafka还没实现)
bin/kafka-topics.sh --zookeeper 192.168.199.132:2181 --topic first --alter --partitions 5

#生产者启动
bin/kafka-console-producer.sh --topic first --broker-list 192.168.199.132:9092
#消费者监听(加上 --from-beginning:会把之前的数据都取出来)
bin/kafka-console-consumer.sh --topic first --bootstrap-server 192.168.199.132:9092






A

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
概述: Spark Streaming是Apache Spark的一个组件,它提供了实时数据处理的能力。它可以从各种数据源(如Kafka、Flume、Twitter、HDFS等)中读取数据,并将其转换为DStream(离散流)进行处理。Spark Streaming提供了与Spark相同的API,因此可以使用Spark的所有功能来处理实时数据。 基本概念: 1. DStream:离散流,是Spark Streaming的基本抽象。它代表了一个连续的数据流,可以通过一系列的转换操作进行处理。 2. 输入源:Spark Streaming可以从多种输入源中读取数据,如Kafka、Flume、Twitter、HDFS等。 3. 转换操作:Spark Streaming提供了与Spark相同的API,可以使用各种转换操作对DStream进行处理,如map、filter、reduceByKey等。 4. 输出操作:Spark Streaming可以将处理后的数据输出到多种输出源中,如HDFS、数据库、Kafka等。 性能调优: 1. 调整批处理间隔:Spark Streaming的批处理间隔决定了数据处理的延迟和吞吐量。较小的批处理间隔可以提高实时性,但增加系统负载和网络开销。 2. 调整并行度:并行度决定了Spark Streaming的处理能力。可以通过增加Executor数量、调整Executor内存等方式来提高并行度。 3. 使用持久化存储:Spark Streaming可以使用持久化存储来缓存数据,减少数据读取和处理的开销。 4. 使用数据压缩:数据压缩可以减少数据传输的开销,提高系统吞吐量。 5. 避免数据倾斜:数据倾斜导致某些Executor负载过重,影响系统性能。可以通过调整数据分区、使用随机键等方式来避免数据倾斜。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值