Kafka
文章平均质量分 88
RanGe*
别让我秀琴瞧不起你!
展开
-
ubuntu1804搭建docker版kafka2.6.0
首先docker搭建kafka环境是需要有zookeeper的, 所以这里需要先搭建zookeeper环境通过dockerfile创建zookeeper创建一个文件夹, 里面创建出kafka子文件夹和zookeeper子文件夹, 然后在zookeeper文件夹中创建一个Dockerfile文件, 文件内容如下FROM wurstmeister/zookeeper:3.4.6MAINTAINER wirte the zookeeper docker file在通过dockerfile生成zook原创 2021-02-07 08:59:50 · 194 阅读 · 0 评论 -
kafka报Commit cannot be completed since the group has already rebalanced and assigned the partitions
Springboot整合kafka 报错 Commit cannot be completed since the group has already rebalanced and assigned the partitions报错信息如何理解产生原因如何解决报错信息Commit cannot be completed since the group has already rebalanced and assigned the partitions如何理解这里是说提交commit失败, 因为这个原创 2020-06-23 13:35:57 · 13665 阅读 · 4 评论 -
java springboot生成kettle可执行ktr文件表输入/表输出/文本输入/javascript处理/kafka输出
不谦虚的说 这篇文章, 在csdn界, 填补了一项空白java生成ktr文件实现表格输入输出,文本文件输入, javascript处理以及kafka输出不谦虚的说 这篇文章, 在csdn界, 填补了一项空白源码前言1 开始之前需要做的事1.1 将本地jar文件生成maven仓库1.1.1 必须处理的jar文件1.1.2 可选的kafka插件jar文件2 目录结构以及pom文件2.1 目录结构2.2 pom文件3 数据库表输入到数据库表的插入更新3.1 java文件4 文本文件输入 kafka输出 java原创 2020-06-10 17:29:23 · 2166 阅读 · 3 评论 -
使用kettle+kafka+logstash+elasticsearch实现数据清洗入库并快速搜索
警告: 本篇博客是记录一个学习的过程,中间会有很多弯路kettle中可以使用多种输入输出, 常用的有:表输入,文件输入,表输出,文件输出等, 本文用到的输入为txt文本文件输入, 输出类型为输出到kafka这里解释一下为什么要是用kafka而不是直接生成文件到本地因为需要处理的数据是比较多的, 一般是几亿条, 或者几十亿条, 文件大概是几个G到几十G, 如果生成的文件落地到磁盘, 那将会非常耗费资源kettle清洗数据建立快速索引kettle从数据源获取数据, 这里是从txt文件中获取对文件中数据进原创 2020-05-15 16:42:22 · 17097 阅读 · 1 评论 -
kafka2.13 整合springboot 2.1.4实现发送消息并定时获取消息
kafka2.13 整合springboot 2.1.4创建springboot项目导入需要用的jar包配置kafka配置文件配置FactoryBean批量处理手动消费创建工具类/实体类/controller创建生产者和定时消费者启动项目使用postman测试总结创建springboot项目springboot项目这里使用的是2.1.4版本,不同的kafka版本需要对springboot版本有...原创 2020-04-20 10:10:43 · 1756 阅读 · 2 评论 -
Kafka集群安装手册
Kafka群安装手册CentOS7目 录1 概述2 部署环境3 系统环境搭建3.1 修改yum源4 安装JAVA环境4.1 配置环境变量4.2 检验5 关闭防火墙6 配置服务器间信任ssh(可不做)7 kafka集群安装7.1 解压缩7.2 编辑配置文件7.3 配置zookeeper7.4 启动zookeeper7.5 启动kafka7.6 检查测试7....原创 2020-04-13 22:17:09 · 245 阅读 · 0 评论