kafka
文章平均质量分 87
kafka
一个人的牛牛
一个人的牛牛,要么孤独,要么庸俗!踏踏实实从头开始!
展开
-
kafka笔记(四):消费者-消费方式/消费者工作流程/消费者API/分区分配及平衡/手动、自动提交offset
(1)pull(拉)模式:consumer采用从broker中主动拉取数据。Kafka采用了这种方式。(2)push(推)模式:Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。pull模式不足之处是,如果Kafka没有数据,消费者可能会陷入循环中,一直返回空数据。原创 2022-09-22 06:00:00 · 1607 阅读 · 0 评论 -
kafka笔记(三):broker-工作流程/节点服役和退役/副本/文件存储/高效读写
(1)开启zookeeper,进入zookeeper,执行./zkCli.sh(2)查看信息查看目录:ls /其它的用ls也可以查看到例:例:部分信息目录查看controller路径上的数据查看/brokers/topics/first/partitions/0/state的数据。原创 2022-09-21 06:15:00 · 573 阅读 · 0 评论 -
kafka笔记(二):生产者-同步发送/异步发送/生产者分区/数据可靠性/数据去重/消息发送流程
根据需求可以自己重新实现分区器(1)需求:实现一个分区器,发送的数据出现jeffry就发送到分区1,否则发送到分区2.(2)实现:1)代码/*** 1.实现接口partitioner* 2.实现三个方法:partition,close,configure* 3.编写partition方法,返回分区号*//**** @param topic 主题* @param key 消息的key* @param keyBytes 消息的key序列化后的字节数组。原创 2022-09-20 06:00:00 · 1654 阅读 · 0 评论 -
kafka笔记(一):kafka概述及入门-基础框架/消息队列/安装部署/命令行操作
Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。Kafka最新定义 :Kafka是 一个开源的分布式事件流平台(Event Streaming Platform)被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。原创 2022-09-19 09:59:14 · 596 阅读 · 0 评论 -
Kafka Eagle的安装(kafka-eagle-bin-1.3.7)
一、安装准备1.安装了kafka没有的可以参考:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客_kafka集群部署2.下载安装包官网地址:EFAK二、安装配置三、验证输入密码 admin/123456 登录即可...原创 2022-05-05 19:43:54 · 1494 阅读 · 0 评论 -
kafka的基本操作(命令行操作)
目录一:准备二:kafka的基本操作(命令行操作)一:准备1.安装kafka操作:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客2.安装zookeeper操作:zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客3.启动zookeeper在zookeeper目录下执行:bin/zkServer.sh start如果是集群每一台都需要执行启动命令!!验证:jps看到QuorumPeerMai..原创 2021-12-07 19:44:36 · 7375 阅读 · 0 评论 -
kafka单机和集群(全分布)的安装部署过程
一:安装准备1.必须安装了zookeeperzookeeper安装操作:zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客2.下载kafka可以通过这两个网站下载想要的版本http://kafka.apache.org/downloadshttps://mirrors.tuna.tsinghua.edu.cn/apache/kafka/或者下载和我一样的版本(我用的是kafka_2.11-2.3.1.tgz)百度网盘地址:链接...原创 2021-12-07 18:36:28 · 2417 阅读 · 0 评论