大数据系列——kafka学习笔记

最新推荐文章于 2024-05-04 02:22:41 发布
最新推荐文章于 2024-05-04 02:22:41 发布
阅读量170 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31683033/article/details/100763412
版权

1. 大数据领域数据类型

1.1 有界数据

​ **一般批处理(一个文件 或者一批文件),不管文件多大，都是可以度量 **

​ mapreduce hive sparkcore sparksql

1.2 无界数据

​ 源源不断的流水一样 (流数据)

​ Storm SparkStreaming

2. 消息队列(Message Queue)

  • 消息 Message

    • 网络中的两台计算机或者两个通讯设备之间传递的数据,例如说：文本、音乐、视频等内容

  • 队列 Queue

    • 一种特殊的线性表（数据元素首尾相接），特殊之处在于只允许在首部移除元素和在尾部追加元素。入队、出队。

  • 消息队列 MQ

    • 消息+队列

    • 保存消息的队列

    • 消息的传输过程中的容器

    • 主要提供生产、消费接口供外部调用做数据的存储和获取

3. 消息队列的分类

3.1 点对点(P2P)

  • 一个生产者生产的消息只能被一个消费者消费

3.2 发布订阅(Pub/Sub)

消息队列(Queue)、主题(Topic)、发布者(Publisher)、订阅者(Subscriber)

  • 消息的发布者
  • 消息的订阅者

每个消息可以有多个消费者，彼此互不影响。比如我发布一个微博：关注我的人都能够看到。

4. Kafka的简介

  • 在大数据领域呢，为了满足日益增长的数据量，也有一款可以满足百万级别消息的生成和消费，分布式、持久稳定的产品——Kafka
  • Kafka是分布式的发布—订阅消息系统(基于PS的一个消息队列)
  • **它最初由LinkedIn(领英)公司发布,使用Scala语言编写 **
  • Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统
  • 它主要用于处理活跃的数据(登录、浏览、点击、分享、喜欢等用户行为产生的数据

5. Kafka的特点

  • 高吞吐量
    • 可以满足每秒百万级别消息的生产和消费(生产消费 )
  • 持久性
    • 有一套完善的消息存储机制，确保数据的高效安全的持久化 (数据的存储)
  • 分布式
    • 基于分布式的扩展和容错机制；Kafka的数据都会复制到几台服务器上。当某一台故障失效时，生产者和消费者转而使用其它的机器——整体健壮性

6. Kafka的组件

  • 一个消息队列需要哪些部分?
    • 生产
    • 消费
    • 消息类别
    • 存储等等
  • Topic(主题)
    • Kafka处理的消息的不同分类
  • Broker (消息代理)
    • Kafka集群中的一个kafka服务节点称为一个broker，主要存储消息数据,存在硬盘中。每个topic都是有分区的
  • Partition (物理上的分区)
  • 一个topic在broker中被分为1个或者多个partition，分区在创建topic的时候指定
  • Message (消息)
  • 消息，是通信的基本单位，每个消息都属于一个partition

7. Kafka的服务

  • Producer : 消息和数据的生产者，向Kafka的一个topic发布消息
  • Consumer :消息和数据的消费者，定于topic并处理其发布的消息
  • Zookeeper :协调kafka的正常运行

8. Kafka的安装

8.1 单机版的安装

  • 准备kafka

    • kafka_2.10-0.10.0.1.tgz

  • 解压kafka

    • tar -zxvf kafka_2.10-0.10.0.1.tgz -C /opt/

  • 重命名

    • mv kafka_2.10-0.10.0.1.tgz kafka

  • 配置环境变量

    export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

  • 编辑server.properties

    broker.id=1
log.dirs=/opt/kafka/logs
zookeeper.connect=uplooking03:2181,uplooking04:2181,uplooking05:2181
listeners=PLAINTEXT://:9092

  • 启动kafka-server服务

    kafka-server-start.sh [-daemon] server.properties

  • 停止kafka服务

     kafka-server-stop.sh

8.2 集群的安装

只需要在每个机器上修改对应的 broker.id=1 即可

9. Kafka中Topic的操作

  • 创建topic

    kafka-topics.sh  --create --topic t1 --partitions 3 --replication-factor 1  --zookeeper uplooking03:2181,uplooking04:2181

    注意: 创建topic过程的问题，replication-factor个数不能超过brokerserver的个数

  • 查看topic

    kafka-topics.sh  --list --zookeeper uplooking03

  • 查看具体topic的详情

    kafka-topics.sh  --describe --topic t1 --zookeeper uplooking04:2181

    PartitionCount：topic对应的partition的个数
ReplicationFactor：topic对应的副本因子，说白就是副本个数
Partition：partition编号，从0开始递增
Leader：当前partition起作用的breaker.id
Replicas: 当前副本数据存在的breaker.id，是一个列表，排在最前面的其作用
Isr：当前kakfa集群中可用的breaker.id列表

  • 修改topic(不能修改replication-factor，以及只能对partition个数进行增加，不能减少 )

    kafka-topics.sh --alter --topic t1 --partitions 4 --zookeeper uplooking03

  • 删除Topic

    kafka-topics.sh --delete --topic t1 --zookeeper uplooking03

    ps:这种删除只是标记删除,要想彻底删除必须设置一个属性,在server.properties中配置delete.topic.enable=true，否则只是标记删除

    配置完成之后，需要重启kafka服务

10. Kafka中的生产者和消费者接口

  • 自己写代码实现kafka提供的消息生产和消费的接口

  • kafka自身也实现了自身的生产和消费的接口,给出了两个工具(kafka-console-producer.sh , kafka-console-consumer.sh)

11. Kafka自带的生产和消费消息的工具

11.1 kafka-console-producer.sh(生产工具)

kafka-console-producer.sh --topic t1  --broker-list uplooking03:9092,uploo
king04:9092,uplooking05:9092

11.2 kafka-console-consumer.sh(消费工具)

kafka-console-consumer.sh  --zookeeper uplooking03 --topic t1

--from-beginning:从头开始消费
--blacklist:黑名单过滤(kafka-console-consumer.sh  --zookeeper uplooking03   --blacklist t1,t3)
--whitelist:白名单过滤(kafka-console-consumer.sh  --zookeeper uplooking03   --whitelist t2)	

ps:--topic|--blacklist|--whitelist 只能出现其中一个

12. Flume与Kafka的整合

  • 配置flume的agent配置文件

    touch flume-kafka.properties

    # 对各个组件的描述说明
# 其中a1为agent的名字
# r1是a1的source的代号名字
# c1是a1的channel的代号名字
# k1是a1的sink的代号名字
############################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 用于描述source的，类型是netcat网络
a1.sources.r1.type = netcat
# source监听的网络ip地址和端口号
a1.sources.r1.bind = uplooking01
a1.sources.r1.port = 44444



# 用于描述sink，类型是kafka

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = hadoop
a1.sinks.k1.brokerList = uplooking03:9092,uplooking04:9092,uplooking05:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 2


# 用于描述channel，在内存中做数据的临时的存储
a1.channels.c1.type = memory
# 该内存中最大的存储容量，1000个events事件
a1.channels.c1.capacity = 1000
# 能够同时对100个events事件监管事务
a1.channels.c1.transactionCapacity = 100


# 将a1中的各个组件建立关联关系，将source和sink都指向了同一个channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  • 启动flume开始采集数据

    [root@uplooking01:/opt/flume/conf]
	flume-ng agent --name a1 --conf-file flume-kafka.properties

  • 开启Kafka消息消费工具

    [root@uplooking03:/opt/flume/conf]
	kafka-console-consumer.sh  --zookeeper uplooking03 --topic hadoop

  • 给flume监听的Source发送数据

    [root@uplooking03:/]
	nc uplooking01 44444

  • 现在就可以到kafka的消费工具(kafka-console-consumer.sh)中区查看nc发送的数据

13. Kafka的API操作(生产者和消费者)

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka_2.10</artifactId>
  <version>0.10.0.1</version>
</dependency>

13.1 Kafka的生产者

  • 创建生产者的配置文件 producer.properties

    bootstrap.servers=uplooking03:9092,uplooking04:9092,uplooking05:9092
key.serializer=org.apache.kafka.common.serialization.StringSerializer
value.serializer=org.apache.kafka.common.serialization.StringSerializer

  • 创建生产者并且发送数据到topic中

    public class MyKafkaProducer {
    public static void main(String[] args) throws IOException {
        Properties prop = new Properties();
        prop.load(MyKafkaProducer.class.getClassLoader().getResourceAsStream("producer.properties"));
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(prop);
        kafkaProducer.send(new ProducerRecord<String, String>("hadoop", "name", "admin123"));
        kafkaProducer.close();
    }
}

13.2 Kafka的消费者

  • 创建消费者的配置文件consumer.properties

    zookeeper.connect=uplooking03:2181,uplooking04:2181,uplooking05:2181
group.id=test-consumer-group
bootstrap.servers=uplooking03:9092,uplooking04:9092,uplooking05:9092
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

  • 创建消息消费者消费topic中的数据

    public static void main(String[] args) throws Exception {
    Properties prop = new Properties();
    prop.load(MyKafkaConsumer.class.getClassLoader().getResourceAsStream("consumer.properties"));
    KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<String, String>(prop);
    Collection topics = new ArrayList();
    topics.add("hadoop");
    kafkaConsumer.subscribe(topics);
    while (true) {
        ConsumerRecords<String, String> records = kafkaConsumer.poll(1000);
        for (ConsumerRecord<String, String> record : records) {
            System.out.println(record.value());
        }
    }
}

  • 自定义分区(MyCustomPartition)

    package com.uplooking.bigdata.kafka.partition;
public class MyCustomPartition implements Partitioner {
public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster)  {
//获取分区数,    分区编号一般都是从0开始
int partitionSize = cluster.partitionCountForTopic(topic);
int keyHash = Math.abs(key.hashCode());
int valueHash = Math.abs(value.hashCode());
return keyHash % partitionSize;
}
public void close() {
}
public void configure(Map<String, ?> configs) {
}
}

    配置自定义分区(producer.properties)

    partitioner.class=com.uplooking.bigdata.kafka.partition.MyCustomPartition
EVAO
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
云计算面试题及答案，云计算工程师面试题集锦
weixin_34409741的博客
05-28 3667
前几天在学习群里有些小伙伴问云计算面试相关的试题，当时给出了一些问题，苦于打字太累就没写下去了，但觉得这是一个很不负责任的表现，于是下来整理了一下近几年的私藏，特分享给大家第二部分的整理版本！有兴趣的可以留言讨论，也欢迎大家的补充！ 18）可否解释软件即服务（SaaS）的不同模式？ a）简单的多租户模式：在该模式中，每个用户有独立的资源，与其他用户分开来，这是一种高效的模式。 b）细粒度的多租户模...
大数据_云计算面试精华汇总
qq_28435215的博客
11-07 736
文章目录1. 云计算的本质特征及其与分布式计算或并行计算的关系2. 云计算技术体系结构分为哪几层？3. 云计算三种服务类型（IaaS，PaaS和SaaS）4. RPC执行的主要步骤。5. RPC技术中存根（Stub）的作用。6. RMI分布式应用程序基本构成。7. 比较裸金属虚拟化、主机虚拟化和操作系统虚拟。8. 分布式系统中数据分片与数据副本的作用。9. 什么是分布式系统中的副本一致性问题？什么是分布式共识问题？两者之间有什么关系？10. 副本控制采用强同步复制协议和异步复制协议时的数据读写流程。11.
云计算 大数据的面试题，百度，腾讯，阿里都用到过
07-22
针对我们大数据 ，云计算， 所有用的到的面试题，包含近几年公司用到过的面试题，大家可以借鉴一下，百度，腾讯，阿里公司都用到过的面试题
云计算大数据面试题，云计算大数据面试题集锦
weixin_34109408的博客
06-19 510
大数据领域数据类型 1.1 有界数据 ​一般批处理(一个文件 或者一批文件),不管文件多大，都是可以度量 ​mapreduce hive sparkcore sparksql 1.2 无界数据 ​源源不断的流水一样 (流数据) ​Storm SparkStreaming 消息队列(Message Queue) 消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据,例如说：...
【转】海量数据题目收集
! ( ! 思维空间 && ! 记忆碎片)
10-26 714
1. 给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。 2. 有10个文件，每个文件1G， 每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。要你按照query的频度排序3. 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词4. 海量日志数
大数据学习笔记——Kafka理论知识
家住海边，见过大风大浪
09-19 726
Kafka基础组件 Topics（主题） 属于特定类别的消息流称为主题。数据存储在主题中。主题被拆分成分区。对于每个主题，Kafka保存一个分区的迷你妈妈。每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。 Partition（分区） 主题可能有许多分区，因此它可以处理任意数量的数据。 Partition offset（分区偏移） 每个分区消息具有称为...
大数据-kafka学习基础篇
zhenzhen823的博客
06-17 310
一.消息队列的两个模式和特点 两个模式：点对点模式（一对一，消费者主动拉取数据，消息收到后消息清楚）； 发布/订阅模式（一对多，数据生产后，推送给所有订阅者） 8大特点： 1.解耦 2.冗余 3.扩展性 4.灵活性&峰值处理能力 5.可恢复性 6.顺序保证 7.缓冲 8.异步通信 队列：先进先出 栈：先进后出 二. 什么是kafka kafka是一种欧冠高吞吐量...
大数据技术——Hadoop（学习笔记1）
RomanticRick的博客
03-25 2254
大数据技术——Hadoop Hadoop概述 Hadoop 运行环境搭建 1.Hadoop概述 1.1Hodoop是什么？ 1）Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。 2）主要功能是处理海量数据的存储和海量数据的分析计算问题。 3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。 1.2Hadoop发展历史（了解） 创始人：Doug Cutting Hadoop的大数据思想之源是来自Google在.
大数据学习笔记——Kafka Offset Monitor监控及简单的Kafka项目搭建
家住海边，见过大风大浪
09-23 1670
Kafka Offset Monitor监控 kafka Offset Monitor用来监控你的Kafka消费者和他们的偏移量。你能够看到每一个消费者组在它们正在消费的每一个topic组的每一个topic的偏移量。有助于理解消费的速度以及日志增长的速度。 下载地址https://github.com/BangpengGao/kafka-offset-monitor。 安装 github...
大数据-kafka学习笔记_error while fetching metadata with correlation id(1)
最新发布
2401_84181801的博客
05-04 1068
也可以自定义分区器，自己决定数据要发到哪个分区中。
2017云计算面试时常见问题
02-27
2017云计算面试时常见问题2017云计算面试时常见问题2017云计算面试时常见问题
小白的大数据入门路——Hive学习笔记
5akura's Blog
08-04 2729
文章目录一、Hive基本概念1.1、什么是Hive1.2、Hive的优缺点1.3、Hive架构原理1.4、Hive对比数据库二、Hive安装2.1、安装包准备2.2、相关配置和启动2.3、本地文件导入Hive2.3.1、Linux本地文件导入2.3.2、HDFS文件导入2.4、安装MySQL2.5、Hive的JDBC访问（了解）2.6、Hive常用交互命令2.7、Hive常见属性配置2.7.1、常用配置参数2.7.2、修改配置的方式三、Hive数据类型3.1、基本数据类型3.2、集合数据类型3.3、数据类型
【学习笔记】大数据技术之Kafka3.x（生产调优手册）
prague6695的博客
04-05 2549
生产调优手册第 1 章 Kafka 硬件配置选择1.1 场景说明1.2 服务器台数选择1.3 磁盘选择1.4 内存选择1.5 CPU 选择1.6 网络选择第 2 章 Kafka 生产者2.1 Kafka 生产者核心参数配置2.2 生产者如何提高吞吐量2.3 数据可靠性2.4 数据去重2.5 数据有序2.6 数据乱序第 3 章 Kafka Broker3.1 Broker 核心参数配置3.2 服役新节点/退役旧节点3.3 增加分区3.4 增加副本因子3.5 手动调整分区副本存储3.6 Leader Parti
MySQL增删改查语句
qq_58480972的博客
06-25 2083
count()记录查询列有多少行 SUM():求数值序列的和 AVG():求平均数 MAX():求最大值 MIN():求最小值。基本语法 insert into 表名(列1，列2，列3.列4，…*代表代表所有列，要查询哪一列就把*改成哪一列，可以查询一列，也可以查询多列，多列用逗号隔开。基本语法update表名set列=值，列=值，....where..hereid=1(表示查询student表中id=1的学生的所有列)insertinto表名set列=值，列=值，列=值，....
Mysql的增删改查以及常用语法总结
MC6700的博客
06-21 6007
Mysql的增删改查基础，以及常用查询、函数等
mysql增删改查语句大全
CHENABCDEF的博客
05-15 1544
DATE_FORMAT() 函数用于以不同的格式显示日期/时间数据。
【MySQL】增删改查(入门版)
你不来，再美的天地，都狼藉 ~
10-19 664
本文主要讲解MySQL的基础操作——增删改查
mysql常用增删改查sql语句
热门推荐
daitu_的博客
11-29 1万+
文章目录1.增2.删3.改4.查 已插入学生信息为例,表名为student， 1.增 sql语句： insert into student(id,name,sex,age) values(1,'zhangsan','男',18); 也可以写成 insert into student values(1,'zhangsan','男',18); 但是这种写法必须要输入全部数据，如果使用第一种就可以分别插入数据： insert into student(name,sex,age) values('zhangs
MySQL的增删改查用法语句
weixin_67418985的博客
10-10 487
注意：“first”是可选参数，指将“列名1”设置为数据表的第一个。“after 列名2”是指将“列名1”插入到“列名2”的后面。ALTER TABLE 表名 MODIFY 列名1 数据类型 FIRST/AFTER 列名2；ALTER TABLE CHARGE 旧列名新列名新数据类型；ALTER TABLE 表名 MODIFY 列名数据类型；ALTER TABLE 表名 ADD 新列名数据类型；ALTER TABLE 表名 DROP 列名；DROP TABLE 表名；
Kafka学习笔记：架构解析与核心概念
了解这些基础知识后，读者可以进一步深入学习Kafka的高级特性，如消费者协调机制、高可用性设置、消息传递语义等，以便更好地设计和使用Kafka系统。对于开发者而言，熟悉Kafka能够增强他们在大数据处理和实时流应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值