Kettle on MaxCompute 使用指南

最新推荐文章于 2022-10-19 20:15:00 发布
最新推荐文章于 2022-10-19 20:15:00 发布
阅读量355 收藏
点赞数
文章标签： etl 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43970890/article/details/119565010
版权
本文介绍了如何在Kettle中配置MaxCompute JDBC驱动，创建数据库连接，并通过Job执行对MaxCompute的数据组织和操作。内容包括设置Kettle环境、建立数据库连接、新建Job，以及使用Create table、Load from OSS和Processing节点进行ETL过程。
摘要由CSDN通过智能技术生成


Setup

  1. 下载并安装Kettle
  2. 下载MaxCompute JDBC driver
  3. 将MaxCompute JDBC driver置于Kettle安装目录下的lib子目录（data-integration/lib）
  4. 启动spoon

Job

我们可以通过Kettle + MaxCompute JDBC driver来实现对MaxCompute中任务的组织和执行。

首先需要执行以下操作：

  1. 新建Job
  2. 新建Database Connection
    JDBC连接串格式为：jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>JDBC driver class为：com.aliyun.odps.jdbc.OdpsDriverUsername为阿里云AccessKey IdPassword为阿里云AccessKey SecretJDBC更多配置见：https://help.aliyun.com/document_detail/161246.html

最低0.47元/天 解锁文章
阿里云技术
关注
Kettle on MaxCompute使用指南
阿里云云栖号
08-10 1060
简介：Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。Kettle支持丰富的数据输入输出源，数据库支持Oracle，MySql，DB2等，也支持业界各种开源的大数据系统，例如HDFS, HBase, Cassandra, MongoDB等。本文将介绍如何利用MaxCompute的插件无缝对接阿里云的大数据计算平台——MaxCompute。 本示例使用的工具及驱动版.
［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
weixin_34009794的博客
01-18 406
本文用到的 阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps 简介 Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。Kettle支持丰富的数据...
MaxCompute用户指南
04-29
MaxCompute用户指南，阿里MaxCompute(原ODPS)用户指南
外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇
阿里云开发者
08-11 586
简介：本文主要讲解开源ETL工具如何连接MaxCompute直播视频请点击 直播 观看。本次分享将从五个方面讲解。01 走进MaxCompute生态02 开源ETL工具03 客户端简介04 PyODPS简介05 实操展示一、走进MaxCompute生态首先来看下 MaxCompute 产品能支持的外部工具，大概可以分为商业智能、开发管理、传输调度、编程接口。本次分享主要关注商业智能（BI）工具这一板块，可以看到 MaxCompute 官方集成有Tableau、FineReport、FineBI、Quick
04 ，kettle 集成 jar 包，上传文件到 S3 ，发消息给 sqs ，异常处理 ，
孙砚秋的博客
01-16 1002
1 ，异常处理 ： 报错 ： kettle 报错 java.lang.NoSuchMethodError: org.joda.time.format.DateTimeFormatter.withZoneUTC()Lorg/joda/time/format/DateTimeFormatter; 原因 ： 1 ，包不存在 ： 排除了，因为在别处运行没问题，只在 kettle 运行有问题 2 ，...
aliyun-kettle-odps-plugin-1.0.0.tar.gz
10-31
kettle使用maxcompute相关插件，aliyun-kettle-odps-plugin-1.0.0.tar.gz
[JDBC] Kettle on MaxCompute 使用指南
阿里云云栖号
07-16 1101
简介： Kettle是一款开源的ETL工具，纯Java实现，可以在Windows、Unix和Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑 。基本讲介绍基于Kettle的MaxCompute插件实现数据上云。 Kettle版本：8.2.0.0-342 MaxCompute JDBC driver版本：3.2.8 Setup 下载并安装Kettle 下载MaxCompute JDBC driver 将MaxCompute JDBC driver置于Ke
Kettle_初学者教程_使用指南_纯个人手打.xlsx
11-29
一步一步都有详细的说明，可以说看完该教程，使用Kettle数据迁移就学会了，包含【Kettle创建和执行转换,任务】【增加校验和错误表的转换】【变量控件的使用和调用】【数据迁移脚本的并发运行】
Kettle开发经验
qq_41466891的博客
11-01 654
需要一个Kettle库，然后点击kettle右上角的Connect然后连接，连接出现的问题有： 连接成功后右上角的连接信息消失，可以到"C:\Users\用户名"下找到".kettle"文件然后删除重启Kettle 文件存储后文件跑到其他目录下，原因创建时不在保存目录，解决方式是另存为到目标目录 Kettle使用接口接入 使用生产记录: 限制:请求次数1次 字段中名称可以填写请求...
kettle阿里云下载日志文件
08-03
NULL 博文链接：https://qq85609655.iteye.com/blog/1998312
DataX VS Kettle，深度对比分析
Daphnis的博客
10-19 1万+
开源的 ETL工具里面 DataX和 Kettle的人气一直高居不下，datax虽然比较年轻，但这两年发展势头很猛，不时就能听到身边的同事谈起。kettle作为老牌的 etl工具，诞生年限长，功能完善，特别是其开箱即用的数据转换算子，不得不令人叹服。因此，笔者决定对这两款工具进行深入的对比分析，有多深呢，到源码那种。
ODPS与Kettle融合之道
ManWZD的博客
12-05 971
传统的数据治理厂商（没有采用云计算技术），往往使用 Oracle 作为数仓的存储，使用 Kettle 作为ETL和流程调度工具。依托于 Oracle 的稳定、高效，以及 Kettle 的灵活，传统架构可以胜任各种复杂的场景。随着云计算技术的不断发展和推广，传统架构正在慢慢淡出市场，但是交付过程中，不可避免的会遇到把云计算和传统厂商相集成的场景。本文主要介绍的是，在上述的场景下，如何保证 DataX 作业和 Kettle 作业的同步问题。
只要三步！阿里云DLA帮你处理海量JSON数据
chikuai9995的博客
08-16 224
概述 您可能有大量应用程序产生的JSON数据，您可能需要对这些JSON数据进行整理，去除不想要的字段，或者只保留想要的字段，或者仅仅是进行数据查询。 那么，利用阿里云Data Lake Analytics或许是目前能找到的云上最为便捷的达到这一目标的服务了。仅仅需要3步，就可以完成对海量...
Kettle安装教程 数据库连接配置 资源库配置
sos218909的博客
01-15 6183
Kettle安装教程 一.资源下载信息 1.Kettle最新版下载地址:https://community.hitachivantara.com/docs/DOC-1009855 2.JDK1.8以上下载地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html 3.MySQL下载地址:https://dev.mys...
使用kettle导入数据到ADB for PostgreSQL
weixin_34209851的博客
05-07 305
2019独角兽企业重金招聘Python工程师标准>>> ...
Kettle 9.1.0 Spoon 阿里云OSS 国内下载 pdi-ce-9.1.0.0-324.zip
大家的blog
04-16 3513
Kettle-9.1.0阿里云OSS下载 windows: https://k-resource.oss-cn-beijing.aliyuncs.com/package/application/kettle-pdi/pdi-ce-9.1.0.0-324.zip
基于Kettle的MaxCompute插件实现数据上云
01-05 1420
转自：https://yq.aliyun.com/articles/68911
Kettle ETL工具详细使用指南
"Kettle使用-ETL&Kettle, Kettle使用-下载&部署, Kettle使用-运行, Kettle使用-ktr&kjb, Kettle使用-transformation" Kettle是一款强大的开源ETL（Extract-Transform-Load）工具，专用于数据抽取、转换和装载。它由...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值