![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kettle
文章平均质量分 64
以使用场景为出发点,深入介绍kettle整合异构数据的能力。
qingxinziran007
这个作者很懒,什么都没留下…
展开
-
基于kettle的数据集成平台(汇总)
演示环境: 用户名:admin 密码:admin高低压电力监控系统http://scada.wangyaojun.cn/北大服务网关http://kettle.wangyaojun.cn/认识kettle:认识物联网_qingxinziran007的专栏-CSDN博客最近在做一些物联网的项目,认识到物联网应该是大势所趋,就准备写一个物联网专栏来介绍一下我现在做的工作,我会一步一步地带着大家搭建一个物联网平台。既然是物联网,当然会涉及一些硬件的技术,这个放心,我...原创 2022-02-26 17:01:05 · 4728 阅读 · 3 评论 -
kettle中作业池的使用(二)
本篇文章主要介绍作业池中是如何进行流处理的。最常见的场景就是在物联网平台中,将感知层收集的数据,上传到消息队列服务器中,然后服务层通过使用相应的客户端去接收数据,最后将数据进行处理,保存入库。最终通过app,小程序,web等方式展示结果。最核心的流程就是如何去接收消息中间件的数据,接收之后又是如何高效的处理数据呢?如果有这样的一个平台,既能通过快速的配置接入中间件,又能对数据进行转换处理,持久化处理(数据库,es,hbase),就能完美的解决物联网的数据问题。这样一个复杂的物联网项目就转化为一个普通的互联.原创 2021-08-01 13:15:45 · 718 阅读 · 5 评论 -
kettle中作业池的使用(一)
之前的文章主要介绍了kettle中转换的使用,主要对应于kettle平台中的服务池功能。服务池主要用于发布接口,支持rest,websocket,soap的协议。服务池纵然已经满足了大部分的业务需求,但是对于一些报表统计的场景,往往需要任务调度,服务池就显得比较吃力。如果服务池接口中强大的功能能够用于任务调度就能够完美解决这种场景。基于此,在kettle平台中开发了作业池模块,专门用于解决任务调度。创建执行策略创建作业启动作业查看日志关闭作业总结本篇文章..原创 2021-07-14 10:51:12 · 146 阅读 · 0 评论 -
kettle中java节点的使用
之前的文章讲了kettle平台与物联网平台的结合,完美的解决了数据格式转换问题。但在实际的使用过程中还是会存在一些不够便捷的问题,对一些特殊的业务逻辑,处理起来比较麻烦,如果采用java语言进行编码反而是最简单的。kettle中java节点的使用如下java节点的使用:结果如下:test变量的值为2222,就是通过java代码实现的。具体实现:官方例子:在java节点中使用lambda表达式关键代码:定义lambda方法使用lambda方法:最..原创 2021-06-27 10:58:42 · 271 阅读 · 0 评论 -
物联网平台与kettle技术的结合(三)
上篇文章主要介绍了将tb的websocket接口进行透传,转化为业务所需要的格式。上上篇文章讲得是如何将tb的rest接口进行透传,转化为标准的格式。 基于以上两篇文章属于对单接口的改造能力,本篇文章就介绍一下如何将tb的多个接口进行聚合,以满足复杂的业务场景。问题:需求:查询某资产所包含的所有设备(出参应包含设备名称,设备描述,设备状态)。分析:请求参数肯定是资产id,查看tb平台的api,发现只能根据资产id获取该资产包含的所有设备id。也就是说只能获取到资产和设备的关系。如果想获取...原创 2021-06-05 10:43:50 · 1237 阅读 · 3 评论 -
基于kettle的数据集成平台用户手册
应用管理第一步:以admin/admin用户登录系统后,可以看到左侧菜单如下:选择应用管理菜单第二步:添加新应用:如添加(天气预报) 资源池第一步:添加服务分类第二步:分类添加成功,例如天气预报对接第三步:编写kettle转换文件与天气预报接口进行集成第四步:上传kettle转换文件到资源池第五步:上传完成后,如下图。 服务池第一步:新建服务,选择资源文件第二步:保存服务成功后,如下图: 服务测试...原创 2021-05-12 00:27:39 · 570 阅读 · 0 评论 -
基于kettle的数据集成平台(四)
上篇文章介绍了使用kettle平台实现mqtt与websocket的数据互转功能,基本上能够解决物联网平台中的通信问题。本章将继续讲解kettle平台的另外一个高级功能,即:实现websocket之间的转发透传。场景描述:我在开发物联网平台的时候,遇到这样一个问题。如果想要实时的将设备数据展现在前端页面,采用websocket进行通信那是必然的选择。但是为了适配不同类型的前端(h5,app,小程序等),数据格式肯定是不一样的。现在有两个公司入驻该平台,每个公司都有自己的标准协议(比如A公司..原创 2021-04-08 23:57:17 · 917 阅读 · 0 评论 -
基于kettle的数据集成平台(三)
上篇文章主要介绍了使用kettle平台实现文档的高效解析。通过上传文档和下载文档的方式,来对各种异构文档进行数据格式的统一。本篇文章进行介绍kettle平台的其他高级功能,即:mqtt与websocket的相互转换。场景描述:需求:物联网平台的数据处理。大家知道,物联网平台的数据处理过程:硬件设备层——》数据收集层——》业务逻辑层——》展示层。物联网平台的主要数据传输协议有mqtt,coap,http等,mqtt是最常见的一种。展示层一般采用websocket技术进行展示。问题:.原创 2021-04-07 16:24:37 · 2610 阅读 · 4 评论 -
基于kettle的数据集成平台(二)
鉴于上篇文章是对平台做的简要介绍,可能会对平台的强大功能了解的不够,本篇文章就从一个真实的业务场景入手,来解决工作中的实际问题。场景描述:需求:某教育机构希望实现在线考试功能。1,线上答题:通过在线录入试题,导入试题,来快速的生成试卷,。2,线下答题:通过在线导出试卷,打印成纸质版的试卷。难点:1 ,如何将word试卷导入系统呢?2,如何将试题导出为word试卷呢?解决方案:使用poi进行解析优点:学习成本低,容易简单;缺点:硬编码,工作量大,易出错,冗余工作多.原创 2021-04-02 22:44:57 · 566 阅读 · 0 评论 -
基于kettle的数据集成平台(一)
本篇文章先不介绍kettle的基础知识,主要介绍基于kettle的数据集成平台。也就说,本篇文章介绍的是一个平台,是需要具备大量的kettle知识点才能完成的。通过对此平台的介绍,让大家对kettle的学习充满兴趣,不至于半途而废。这个平台能够解决工程师工作中大部分的数据处理问题。 当然如果大家喜欢这个平台的话,可以在评论区留言大家共同谈论,一起进步。功能点:支持rest请求,websocket请求,mqtt请求等; 支持服务维度的热插拔。 提供请求报文转换服务,响应报文服务; 服务重新..原创 2021-03-28 13:21:56 · 986 阅读 · 0 评论 -
kettle数据库查询节点
上篇文章回顾:上篇文章主要讲了如何通过文件操作节点从本地文件中来获取数据。本篇将讲解如何从数据库中来获取数据,通过采用原创 2021-03-27 16:24:19 · 198 阅读 · 0 评论 -
kettle文件操作节点
上篇文章回顾:上篇文章主要讲了如何使用get节点和post节点从网络中来获取数据,除了从网络这种数据源之外,更多的是从本地文件来读取数据。本地文件有excel,txt,json串,xml文件等,这些不同格式的文件是如何进行解析的呢?本篇内容主要讲解如何通过kettle的文件处理节点来从本地文件获取数据。获取excel数据:最终展示结果如下,预览数据展示的就是从excel中读取的数据,具体是如何实现的呢?第一步:将“Excel输入”节点拖拽到工作区,如下图所示第二步:双击“Exce原创 2021-03-15 23:02:08 · 749 阅读 · 0 评论 -
kettle网络查询节点
上篇文章回顾:上篇文章主要讲了如何编写kettle的第一个作业,相信大家已经掌握;本篇文章主要介绍一些kettle如何去获取数据,获取数据无非是从接口获取或是从本地文件获取;本章主要讲解如何从接口中获取数据,比如调用一个rest接口,获取返回结果。后续还会讲解如何从一个websocket接口获取数据,这就涉及到插件的开发,将会在以后的高级篇教程中进行讲解;HTTP-GET:最终展示结果如下,日志中输出的result字段,便是get请求的返回值;第一步:按照上图方式,将“获取变量”节点、“原创 2021-03-14 22:52:26 · 572 阅读 · 0 评论 -
kettle环境搭建二
上篇文章回顾:上篇文章主要讲解了如何搭建kettle的使用环境,如何编写和运行第一个转换,并在最后通过两种方式查看运行结果,第一种是通过debug的形式,第二种是通过日志节点进行展示。当然,第二种形式并没有进行详细的讲解,希望大家自行完成。本篇将把第二种展示方式进行讲解,并通过讲解节点使大家对节点感兴趣,自行去挖掘各种节点的使用;除此之外,本章还将讲述如何编写第一个作业;使大家掌握编写作业的能力。日志方式:如上篇所述,日志展示方式的最终结果如下图所示:下面展示创建方式:第一步:搜索.原创 2021-03-13 13:14:35 · 307 阅读 · 1 评论 -
kettle环境搭建
准备工作 jdk8下载与安装 kettle安装文件下载 kettle开发工具详解:菜单1 菜单2第一个转换:节点1 节点3第一个任务:节点1 节点2总结:原创 2021-03-07 14:01:30 · 720 阅读 · 0 评论 -
认识kettle
为什么要写kettle专栏?在使用了kettle近5年的时间内原创 2021-03-05 18:12:34 · 1603 阅读 · 6 评论