Kafka
文章平均质量分 57
学习笔记
Smartaotao
每个人身上都有一种潜能,只要有爱存在,那种力量呢将会无比强大!
展开
-
Kafka集成Spark
集成Spark一、Scala环境准备二、Spark消费者1.添加配置文件Spark是一个在大数据开发中非常常用的组件。可以用于Kafka的生产者,也可用于Spark的消费者。一、Scala环境准备二、Spark消费者1.添加配置文件<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artif原创 2022-04-10 23:07:50 · 1338 阅读 · 0 评论 -
Kafka集成SpringBoot
集成SpringBoot一、SpringBoot生产者二、SpringBoot消费者SpringBoot是一个在JavaEE开发中非常常用的组件。可以用于Kafka的生产者,也可以用于SpringBoot的消费者。1)在IDEA中安装lombok插件,注意安装完后要重启;2)SpringBoot环境准备创建一个Spring Initializer<dependencies> <dependency> <groupId>原创 2022-04-06 22:47:21 · 2160 阅读 · 0 评论 -
Kafka集成Flink
集成Flink一、Flink环境准备二、Flink生产者1.在包名下创建java类:FlinkKafkaProducer三、Flink消费者Flink是一个在大数据开发中非常常用的组件。可以用于Kafka的生产者,亦可以用于Flink的消费者一、Flink环境准备创建一个maven项目flink-kafka添加配置文件<dependencies> <dependency> <groupId>org原创 2022-04-05 21:54:12 · 1706 阅读 · 0 评论 -
Kafka外部系统集成之集成Flume
文章目录集成Flume`提示:Flume是一个在大数据开发中非常常用的组件。可以用于Kafka的生产者,也可以用于Flume的消费者`1.1 、Flume1.2 Flume消费者集成Flume提示:Flume是一个在大数据开发中非常常用的组件。可以用于Kafka的生产者,也可以用于Flume的消费者1.1 、Flume准备工作:Flume安装部署:linux下修改环境变量步骤:sodo vim /etc/profile.d/my_env.sh配置Flume:可参考原创 2022-04-04 21:16:50 · 1122 阅读 · 0 评论 -
Kafka-Kraft模式
Kafka-Kraft模式一、Kafka-Kraft架构二、Kafka-Kraft集群部署三、Kafka-Kraft集群启动停止脚本![在这里插入图片描述](https://img-blog.csdnimg.cn/48f5349d700648bd9fd7037a8b3f83db.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAU21hcnRhb3Rhbw==,size_20,color_FFFFFF,t原创 2022-03-08 09:00:00 · 441 阅读 · 0 评论 -
Kafka-Eagle监控
Kafka-Eagle监控前言一、MySQL环境准备二、Kafka环境准备Kafka-Eagle安装前言Kafka-Eagle框架可以监控Kafka集群的整体运行情况,在生产环境中经常使用提示:官网-https://www.kafka-eagle.org一、MySQL环境准备二、Kafka环境准备Kafka-Eagle安装...原创 2022-03-07 21:48:32 · 2087 阅读 · 0 评论 -
Kafka消费者
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档Kafka消费者Kafka消费方式Kafka消费者工作流程消费者总体工作流程消费者组原理消费者重要参数消费者API独立消费者案例(订阅主题)独立消费者案例(订阅分区)消费者组案例生产经验-分区的分配以及再平衡Range以及再平衡RoundRobin以及再平衡Sticky以及再平衡offset位移offset的默认维护位置自动提交offset手动提交offset指定时间消费漏消费和重复消费分析生产经验-消费者事务生产经验-数据积压(消费者如何原创 2022-03-05 09:19:12 · 1712 阅读 · 0 评论 -
Kafka Broker
文章目录Kafka BrokerKafka Broker工作流程Zookeeper存储的Kafka信息Kafka Broker总体工作流程Broker重要参数生产经验-节点服役和退役服役新节点退役旧节点Kafka副本副本基本信息Leader选举流程Leader和Follower故障处理细节分区副本分配生产经验-手动调整分区副本存储生产经验-Leader Partition负载平衡生产经验-增加副本因子文件存储文件存储机制文件清理机制高效读写数据一、pandas是什么?二、使用步骤1.引入库2.读入数据总结原创 2022-03-01 23:23:25 · 1446 阅读 · 0 评论 -
Kafka生产者
Kafka生产者文章目录Kafka生产者生产者消息发送流程发送原理发送流程异步发送API![在这里插入图片描述](https://img-blog.csdnimg.cn/5c1160558a424a5eac3263e993cff778.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAU21hcnRhb3Rhbw==,size_20,color_FFFFFF,t_70,g_se,x_16)一、panda原创 2022-02-25 23:51:48 · 456 阅读 · 0 评论 -
Kafka快速入门
Kafka快速入门前言一、安装部署1.1.1 集群规划1.1.2 集群部署配置环境变量二、Kafka命令行操作2.1 主题命令行操作2.2 生产者命令行操作2.3 消费者命令操作2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、安装部署1.1.1 集群规划hadoop102hadoop103hadoo原创 2022-02-22 23:20:36 · 682 阅读 · 0 评论 -
Kafka简介
Kafka定义前端埋点记录用户购买商品的行为数据(浏览、点赞、收藏、评论等)。1. Kafka传统定义Kafka是一个分布式的基于***发布/订阅***模式的消息队列(Message Queue),主要应用于大数据实时处理领域1.1 发布/订阅消息的发布者不会将消息直接发送给特定的订阅者,而是将 发布的消息分为不同的类别 ,订阅者只接收感兴趣的消息。2. Kafka最新定义Kafka是一个开源的分布式事件流平台,被数千家企业用于高性能数据管道、流分析、数据集成和关键任务应用。3 消息队列原创 2022-02-20 22:10:15 · 690 阅读 · 0 评论