![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kettle
RanGe*
别让我秀琴瞧不起你!
展开
-
java springboot生成kettle可执行ktr文件表输入/表输出/文本输入/javascript处理/kafka输出
不谦虚的说 这篇文章, 在csdn界, 填补了一项空白java生成ktr文件实现表格输入输出,文本文件输入, javascript处理以及kafka输出不谦虚的说 这篇文章, 在csdn界, 填补了一项空白源码前言1 开始之前需要做的事1.1 将本地jar文件生成maven仓库1.1.1 必须处理的jar文件1.1.2 可选的kafka插件jar文件2 目录结构以及pom文件2.1 目录结构2.2 pom文件3 数据库表输入到数据库表的插入更新3.1 java文件4 文本文件输入 kafka输出 java原创 2020-06-10 17:29:23 · 2304 阅读 · 3 评论 -
springboot整合kettle实现数据处理
springboot整合kettle实现数据处理导入jar包pom.xml配置KettleController.java配置报错解决缺少jar包org.mozilla.javascript.JavaScriptExceptionorg.apache.commons.codec.binary.Base64org.scannotation.AnnotationDBorg/apache/log4j/Logger代码报错Can't run transformation due to plugin missing运行原创 2020-06-05 10:27:16 · 8804 阅读 · 7 评论 -
使用kettle+kafka+logstash+elasticsearch实现数据清洗入库并快速搜索
警告: 本篇博客是记录一个学习的过程,中间会有很多弯路kettle中可以使用多种输入输出, 常用的有:表输入,文件输入,表输出,文件输出等, 本文用到的输入为txt文本文件输入, 输出类型为输出到kafka这里解释一下为什么要是用kafka而不是直接生成文件到本地因为需要处理的数据是比较多的, 一般是几亿条, 或者几十亿条, 文件大概是几个G到几十G, 如果生成的文件落地到磁盘, 那将会非常耗费资源kettle清洗数据建立快速索引kettle从数据源获取数据, 这里是从txt文件中获取对文件中数据进原创 2020-05-15 16:42:22 · 18301 阅读 · 1 评论