![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
大曲·蜗牛
努力成为一个大数据的大佬
展开
-
flink13.1 将模拟的实时数据写入的hdfs,并且使用hive可以查询数据
第二步:写代码 增加pom.xml文件,代码中也有kafka的数据源配置,也可以参考,IP地址是我的虚拟机地址,没连接外网无法登陆;解决问题: 解决直接向hive直接写入数据,再不需要配置hive配置文件;若今天是20230608那么dt的时间也是20230608,当然在实际的生产中,可以写个定时任务,定时添加;2.合理设置checkpoint时间,时间越短产生的小文件越多.1.第一步创建hive表并且添加分区,就当前时间为例,1.生产中一定增加checkpoint 存储的目录.原创 2023-06-07 20:38:28 · 594 阅读 · 0 评论 -
Kafka3.0版本 日常使用指令
常用命令原创 2022-06-15 09:36:21 · 751 阅读 · 0 评论 -
flink 消费kafka数据几种方式
先总结三种方式,这三种就是常见的.原创 2022-06-14 16:28:05 · 6214 阅读 · 0 评论 -
springboot kafka 整合使用 简单demo
一.基本版本信息springboot2.5.5 kafka.2.4.1二.代码部分2.1pom.xml<modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifa..原创 2021-10-14 11:14:06 · 321 阅读 · 0 评论 -
kafka api
kafka java编写的 由于篇幅太长 我这边找到一个代码托管kafka api 代码参考原创 2021-06-21 15:20:33 · 58 阅读 · 0 评论 -
kafka 架构 工作流程 分区策略
1.Kafka的架构图原创 2021-06-21 15:05:58 · 108 阅读 · 0 评论 -
Kafka Eagle安装踩了一个坑!!!!
1.下载安装包kafka-eagle-bin-1.3.7.tar.gz2.解压安装包并修改名称原创 2021-06-17 16:54:01 · 552 阅读 · 0 评论 -
Kafka 集群部署
1.这里版本的kafka是基于zookeeper 是先安装好 zookeeper不能出现问题 kafka_2.11-2.4.1.tgz2.解压安装包,重命名该压缩包. tar -zxvf kafka_2.11-2.4.1.tgz mv kafka_2.11-2.4.1 kafka-2.11 3.在配置文件中修改配置第一台 broker.id=1 num.network.threads=3 num.io.thread...原创 2021-05-25 15:51:06 · 149 阅读 · 0 评论