DataX采坑记

最新推荐文章于 2024-06-24 21:27:35 发布
最新推荐文章于 2024-06-24 21:27:35 发布
阅读量3.7k 收藏 8
点赞数 8
分类专栏： 日常踩坑 文章标签： java shell python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41126822/article/details/121856241
版权

一、Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/data/datax/plugin/writer/._ftpwriter/plugin.json]不存在. 请检查您的配置文件. 

从官网上下了quickstart就出了问题

 同样的直接运行：


报这个错误，查后发现没有这个文件，倒是有个ftpwriter不带._的，就想的是不是源码中路径拼装有问题，在阿里社区中问了，没人回答之后，自行解决了问题，附上我的问题链接，里面有我回答的解决方案：

跑DataX自检job就失败，指定配置在哪里？-问答-阿里云开发者社区-阿里云

幻风小笨猫
关注
专栏目录
Datax安装与问题解决 ||运行job出错 ：[您提供的配置文件存在错误信息，请检查您的作业配置】
m0_75026318的博客
06-08 3050
3）进入目录 writer ，删除和红框里的文件，以 ._开头的！2）进入目录reader，删除红框里的文件，以 ._开头的！2.wget是linux上的命令行的下载工具,使用 wget。4）再次运行job命令，就解决了。1.创建文件夹，存放安装包。3.#解压到指定目录。6.出现这个 成功！
datax 学习记录
zhuyin365的博客
03-22 1203
datax 学习到应用
【大数据-Datax】ERROR Engine -经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException
一个老码农
01-08 2088
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的 作业配置 .] - 配置信息错误，您提供的配置文件[D:\dev\datax\plugin\reader\._cassandrareader\plugin.json]不存在. 请检查您的配置文件.删除plugin 目录下的reader文件和writer文件夹下的 ._xxx 文件。
【无标题】
最新发布
abido的博客
06-24 378
DataX测试运行报错解决
datax-kuduwriter常见报错
chimchim66的博客
10-18 3118
kuduwriter
安装dataX的问题，com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe
zly03的博客
04-02 6248
文章目录报错安装:解决方法总结 报错 com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件. 安装: 该dataX下载的地址 安装过程就不详细介绍了，就分享下面我遇到的一个Bug，在执行
datax报错[您提供的配置文件存在错误信息...plugin.json]不存在解决办法
无知是恶
09-26 5052
也可以改成运行下面两句，目的是删除reader和writer目录下的临时文件。搜了好多文章都说是临时文件造成的，但是运行下面的语句又报错。刚装的datax运行的时候报错。这个是因为目录找不到没对。
datax自检报错 /datax/plugin/reader/._drdsreader/plugin.json]不存在
yang灬仔
07-05 3778
在datax/plugin目录下运行自检报错
DataX踩坑总结
hammring的博客
12-30 7273
DataX,数据同步,odps,mysql
datax读取InfluxDB组件
04-18
《DataX读取InfluxDB数据库组件详解》 在大数据处理和分析领域，DataX作为阿里巴巴开源的一款数据同步工具，其重要性不言而喻。它支持多种数据源之间的数据迁移，包括关系型数据库、NoSQL数据库以及各种云存储等。...
datax clickhouse 读插件
11-09
《DataX ClickHouse 读插件使用详解》 在大数据处理领域，DataX作为一个高效、稳定的数据同步工具，被广泛应用于各种数据源之间的数据迁移。本文将深入探讨DataX中的ClickHouse读插件，帮助读者理解如何使用这个...
datax_mongodbreader插件
10-19
解决mongodbreader中空值处理的异常。com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-00], Description:[您的配置错误.]. - 列配置信息有错误. 因为您配置的任务中，源头读取字段数:6 与 目的表要写入的字段数:7 不相等. 请检查您的配置并作出修改.
Datax支持clickhouse
08-05
Datax是阿里巴巴开源的一款高效、稳定、强大的数据同步工具，它能够实现各种数据源之间的数据迁移，包括离线数据同步和实时数据同步。在标题提到的"Datax支持clickhouse"，意味着Datax已经扩展了对ClickHouse数据库...
java集成datax所需pom依赖包
04-09
Java集成DataX涉及到的是数据同步工具的使用，DataX是阿里巴巴开源的一款用于大数据搬移的工具，它能够高效地支持大量数据在不同数据存储之间进行迁移。在这个场景中，"java datax"标签表明我们将讨论如何在Java项目...
[大数据技术]datax的安装以及使用
weixin_43847567的博客
02-27 1412
1、datax简述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 　　datax的开源地址：https://github.com/aliba...
DataX记录
SmallCucumber的专栏
02-03 727
DataX记录
datax的udf_使用dataX收获的教训
weixin_36128239的博客
01-17 684
首先是安装dataX，安装非常简单，只需下载对应的压缩包即可。首先我出现的第一个错误：命令提示符界面出现出现乱码。解决方法：可以在cmd中输入：CHCP 65001，然后进行后续操作。然后我遇到的最大的一个错误：经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException: Code:[Common-00],...
1、datax3.0部署与验证
热门推荐
alanchanchn的专栏
05-06 5万+
DataX 是阿里云DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
DataX把mysql数据导入rpdsql(mysql)
weixin_43084715的博客
04-28 848
首先，在MySQL中准备数据，以lineitem表为例。然后通过DataX将MySQL库中的lineitem表中的数据，迁移到RapidsDB的表lineitem中。 1、在mysql创建lineitem表 CREATE TABLE `lineitem` ( `l_orderkey` bigint(11) NOT NULL, `l_partkey` int(11) NOT NULL, `l_suppkey` int(11) NOT NULL, `l_linenumber` int(11
datax 记录字段血缘
05-20
DataX是一个支持多种数据源的数据同步工具，可以将数据从一个数据源复制到另一个数据源。在数据同步过程中，记录字段血缘是很重要的，因为它可以帮助我们了解数据从哪里来，经过了哪些处理，最终到达了哪里。 DataX支持记录字段血缘，可以通过配置相关参数来实现。具体来说，可以在Job配置文件中设置"job.content"参数，用于指定数据同步任务的内容。在"job.content"参数中，可以通过添加"fieldLineage"属性来启用字段血缘记录功能。例如： ``` { "job": { "content": [ { "reader": {...}, "writer": {...}, "fieldLineage": true } ] } } ``` 在启用了字段血缘记录功能后，DataX会在数据同步过程中自动记录每个字段的来源和去向。这些信息可以通过DataX的日志文件或者血缘库来查看和分析。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值