FME Desktop下访问datax的REST API接口

最新推荐文章于 2024-07-10 09:59:12 发布
最新推荐文章于 2024-07-10 09:59:12 发布
阅读量1.3k 收藏
点赞数
文章标签： restful
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43311051/article/details/116455653
版权
本文介绍了在FME Desktop中通过两种方式访问datax REST API接口，特别是详细阐述了使用Web Connection进行身份验证的步骤，包括创建Token Service类型的数据连接，并指出连接失败时如何查看错误日志。
摘要由CSDN通过智能技术生成

在FME Desktop下访问datax的REST API接口的方法有两种；
一、直接在HTTPCaller下添加验证身份的token的值
在这里插入图片描述
二、在HTTPCaller中用已有的Web Connection连接做身份验证
在这里插入图片描述
第一种方法较为常用也比较简单在这儿不做赘述，接下来着重讲述第二种方法的实现
1、在FME Desktop下新建datax 服务类型：Tools->FME Options->Web Connection
在这里插入图片描述
新增datax 服务为Token Service类型：
在这里插入图片描述
新增一个datax的连接：
在这里插入图片描述
该连接新增成功后则可以在HTTP Caller下使用；
如出现以下情况则表明该连接失败，具体错误参考fme log；
在这里插入图片描述

活了一年的鱼
关注
Datax与云平台集成的三种方法详解
weixin_43221753的博客
01-14 446
本文介绍了Datax与云平台集成的实现方法，Datax作为一款阿里集团开发的数据同步工具，可通过API接口、SDK及自定义插件三种方式与云平台进行深度集成。其中，API和SDK调用能便捷启动数据同步任务并跟踪作业状态，而自定义插件则支持执行特定操作以满足更复杂场景需求。随着云计算技术发展，Datax将持续优化与云平台集成能力，为企业云端数据迁移提供有力支持。
datax最新所有输入输出API说明
12-29
本文档是包含截止到上传日期为止，最新最全的有关异构数据库迁移工具DataX的所有配置API说明文档。有需要的可以下载使用。文档可以直接打开看，如果不习惯使用MD文件的，也可以使用markdown转换为HTML也可以。都是技术出身，你懂的。
【Datax-Web】配置datax-web接口免鉴权及扩展支持其他数据库
最新发布
N0nsense的博客
07-10 425
配置位置com.wugui.datax.admin.config.SecurityConfig SecurityConfig类中有个重写的方法configure() 在此处，根据需要配置你需要免鉴权的接口，目前网上提供的通过配置文件来配置的，我试过没用的！！需要基于datax-web-ui和datax-web这两个项目二次开发，目前本人已经开发完成，流程已打通，但是还有一些可优化的地方，因为是定制开发，所以不够通用，后期优化后上传github再贴链接，如果需要这部分代码，可以留言，我看到了会给您回复，谢谢
java调用使用datax
踏雪江南的博客
12-23 3191
#简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 使用说明 1下载源码 从git上拉取datax代码下载到本地 dataxgit地址\ 2本地将代码编译 cd {DataX_source_code_home} mvn -U clean package ass
common-datax:基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步
05-13
DEPRECATED!!!不在维护!!! 已优化重构并迁移至datax-admin common-datax 基于阿里DataX开发一个通用导数的微服务，可以开发前台页面，根据reader和writer自动进行数据同步 本项目只限于同步数据源量很少的时候使用，若是数据源很多的情况，请参考下面的设计思路 由于阿里DataX有一些缺点： 不够自动化 需要手写json 需要手动运行job 搬砖的时间很宝贵，所以： 提供通用数据抽取restful接口 HDFS自动创库创表创分区 利用freemarker模板自动创建json文件 自动python执行job 集成Azkaban进行调度管理 例如：mysql到hive 选择mysql需要同步的表、字段等信息，输入导入到hive的库表分区等信息，不需提前在hive进行创库创表创分区，自动根据要导的mysql表以及字段类型进行创建hive库表分区，然后利用
DataX，数据同步工具，亲测真香(1)
2401_84788430的博客
05-15 669
首先 DataX Job 模块会根据分库分表切分成若干个 Task，然后根据用户配置并发数，来计算需要分配多少个 TaskGroup；计算过程：Task / Channel = TaskGroup，最后由 TaskGroup 根据分配好的并发数来运行 Task（任务）
fme-desktop-2018-基础培训教程.zip
11-05
**FME Desktop 2018 基础培训教程** FME，全称为Feature Manipulation Engine，是一款强大的数据转换工具，尤其在地理空间数据处理领域具有广泛的应用。本教程聚焦于FME Desktop 2018的基础培训，旨在帮助初学者...
fme desktop 汉化包
06-04
汉化包，方便使用
FME DESKTOP 2014基础操作手册
01-21
### FME DESKTOP 2014基础操作手册知识点整理 #### FME概述 - **FME的定义与功能**：FME（Feature Manipulation Engine）是一个专业数据转换平台，允许用户在不同的GIS数据格式之间进行转换。其核心功能包括数据...
FME Desktop 2020（包含视频教程及安装包和解密包）
07-05
- **API文档**：对于开发者而言，提供了使用软件编程接口的详细指导。 #### 5. 倾斜摄影技术的应用 虽然在提供的文件信息中并未明确提及倾斜摄影技术的具体应用，但FME Desktop 在处理此类数据时具有显著优势。...
JAVA调用datax_Java通过python命令执行DataX任务的实例
weixin_39574050的博客
02-24 242
1.安装datax2.安装python并配置环境变量3.把mysql2odps.json文件放在datax安装目录的job文件夹下4.运行Test.java测试mysql2odps.json文件：{"job": {"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "$username","password...
大数据技术之DataX （二）DataX之opentsdbwriter插件开发
大数据指北
02-10 1829
大家好，我是脚丫先生 (o^^o) 大数据项目之数据集成模块，按照项目需求需要集成时序数据库OpenTSDB。于是着手进行调研，https://github.com/alibaba/DataX 发现关于该时序数据库的插件只有单一的读插件，而阿里自研的TSDB读写插件都齐全。为了彻底的分离，同时为了完全适配OpenTSDB数据库，于是进行了OpenTSDB的写插件开发。 文章目录一、OpenTSDB时序数据库二、使用步骤1.引入库2.读入数据总结 一、OpenTSDB时序数据库 官方描述：OpenTSDB
大数据—数据采集DataX
麦当当的博客
04-26 3464
DataX 是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
多个人同时调用接口_FME与高德API：06 JS接口与矩形POI搜索及公交路线API
weixin_39867327的博客
12-09 310
这是介绍FME零编码调用高德接口第六篇记录，之所以写这边记录主要是这两周看到多篇关于获取POI数据的微信文章，感觉大家有获取POI的需求。今天主要是介绍通过调用高德POI矩形搜索的JS接口按行政区域获取POI，及调用公交查询JS接口获取公交路线及其站点的矢量数据。大家可能会奇怪为什么以前都是用web服务接口，而这次采用的是JS接口(web端)，第一个原因见图一，第二个原因是web服务无公...
datax工具介绍及简单使用
qq_49001678的博客
09-09 1048
Datax是一个异构数据源离线同步工具，致力于实现包括关系数据库、HDFS、Hive、ODPS、Hbase等各种异构数据源之间稳定高效的数据同步功能为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步；DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已 持续稳定运行了7年之久。
DataX源码分析 reader
老码农的博客
02-11 2224
DataX的Reader组件负责从数据源中读取数据，并将这些数据转换成DataX框架可以处理的数据格式。DataX的Reader组件采用了插件化的设计，使得添加新的数据源类型变得相对容易。只需要实现相应的Reader接口或抽象类，并提供必要的配置参数，就可以将新的数据源集成到DataX框架中。这种可扩展性使得DataX能够适应不断变化的数据环境。Reader通常与特定的数据源绑定，每种数据源类型可能都需要一个独立的Reader实现。
阿里云开源离线同步工具DataX3.0介绍
chengli1824的博客
03-16 172
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设...
FME DESKTOP 2014入门教程：转换基础与数据变换
"FME DESKTOP 2014基础操作手册" FME DESKTOP是一款强大的数据转换工具，主要用于不同GIS和CAD数据格式之间的转换和数据处理。该基础操作手册详细介绍了FME DESKTOP 2014版本的使用方法，包括其核心组件、功能和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值