- 博客(9)
- 收藏
- 关注
RSS订阅原创 kettle实战-3Kettle数据处理-3.2数据转换-3.2.1 万能的javascript脚本节点
JavaScript脚本节点非常的灵活，可以代替多个步骤，比如，定义常量，获取变量，类型转换，合并，拆分等常用功能。但对于新上手的同学在不熟练此节点的情况下还是尽量少写代码，减少出错。什么时候用它呢，系统资源有限、现有步骤不能满足要求且你能写JavaScript脚本，这时你可以选择此节点，本人就非常愿意使用这个节点，承担了大部分转换工作，比如：需求要查找前一天的数据，这时用SQL，或其它节点都...
2019-07-08 20:35:06
1257
1
原创 kettle实战-3Kettle数据处理-3.1数据输入-3.1.1SAP输入
一些大型企业内的系统集成中，经常遇到需要与SAP ERP系统进行集成，有些企业购买了SAP的PI集成中间件产品，那对于接入SAP系统就会轻松一些，PI作为一款ESB产品，对于服务的支持是非常好的，但对于一些企业没有上PI，或者传输数据比较大时，走WEB服务显然就不适合了，通常我们会想到直接走数据库底层，但SAP这类大型ERP系统都是不开放底层数据库表的，就算给你看，你也很难能看懂，己经完全被编...
2019-07-08 11:43:55
4142
7
原创 kettle实战-4 OMI介绍-4.5 MQ监听
多种MQ队列监听设置，支持阿里ons，JMS，rabbitMQ，kafka。监听器需要配置一个监听处理的服务组件，即发布服务中创建的服务。
2019-07-05 09:44:55
2510
原创 kettle实战-4 OMI介绍-4.3 调度任务
创建定时任务，进行调度相关服务组件（“发布服务”中创建的相关服务），或其它远程接口hession，http，RMI。也可以上传JAR包，调用实现指定接口的java方法。 调度支持集群环境，同一时点任务只会在某一台服务器中运行，不会重复执行。...
2019-07-05 09:29:53
1338
原创 kettle实战-4 OMI介绍-4.2 服务开发
创建服务（SOAP、REST）并将服务与数据处理相关联，也可以理解为将数据处理发布成服务，供外部调用。通过向导配置服务相关信息，基本、访问控制、入参（如果有）、选择数据处理组件（数据开发中配置的“数据处理”）、出参（如果有）。菜单“发布数据”->“创建服务”。 创建的服务可能被外部调用，从而驱动数据处理组件运行，即kettle的转换或任务。运行结果日志可供查看。...
2019-07-05 09:29:11
1382
原创 kettle实战-4 OMI介绍-4.1 数据开发
数据开发使用kettle的spoon 工具做线下开发数据处理流程，然后将转换或任务上传至OMI平台。菜单“数据开发”->“资源上传”。 创建数据处理，选择上传资源，配置相关运行参数，在线执行kettle组件，转换或任务，并找看相关运行日志。菜单“数据开发”->“数据处理”。...
2019-07-05 09:27:29
3332
原创 kettle实战-５kettle+OMI实战场景-5.1大数据场景POC
本场景是为某大数据项目做的一个产品POC，现在分享给大家。此项目主要从几个业务系统中同步数据进行加工处理分析，最后生成API供前端展示。POC分两大场景，一个非实时场景及准实时场景。 非实时场景流程如上图，OMI（onemysoft.com开发的一个以kettle为引擎的数据处理平台）通过调度定时从若干业务系统中抽取数据，按照相应逻辑生成文本文件，传至FTP或阿里云的OSS分布式文...
2019-07-01 16:47:53
3553
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人