使用阿里Datax获取字段的坑

最新推荐文章于 2021-11-26 09:08:56 发布
最新推荐文章于 2021-11-26 09:08:56 发布
阅读量4.6k 收藏
点赞数
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sgycoder/article/details/105262250
版权

使用阿里Datax获取字段的坑

[获取表字段相关信息失败.]. - 获取表:center_glk_drug_list 的字段的元信息时失败. 请联系 DBA 核查该库、表信息. - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘usage,indication,businessType,spec_unit,dosage_type,min_unit,conversion_ratio,st’ at line 1

报错内容如上

原因：从数据库获取字段时，如果字段的值和数据库关键字一致情况，就会引发获取异常

解决：比如 LEVEL 修改成 level status 修改成 status 就可以了

sgycoder
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
java使用datax增量同步代码
04-19
java使用datax增量同步代码，直接放到项目可使用，支持增量，全量可配置，同步一张表只需添加一条记录
使用DataX将将数据从Hive同步到MySQL报错 获取表字段相关信息失败.]
wufabao的博客
05-29 5260
报错内容 经DataX智能分析,该任务最可能的错误原因是: com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-01], Description:[获取表字段相关信息失败.]. - 获取表:test 的字段的元信息时失败. 请联系 DBA 核查该库、表信息. - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column ‘c
datax使用
qq_33470877的博客
05-06 687
一、简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 二、环境 开发环境：win10，JDK1.8，python3.7，mysql5.7 工具...
来自于alibaba的Datax使用
鲜花怒马少年时，一日看尽长安花
11-26 2569
来自于alibaba的Datax使用 一. 介绍 DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。 二. 特征 DataX本身作为数据同步框架，将不同数据源的同步抽象
Python 获取 datax 执行结果保存到数据库的方法
12-31
执行 datax 作业，创建执行文件，在 crontab 中每天1点（下面有关系）执行： 其中 job_start 及 job_finish 这两行记录是自己添加的，为了方便识别出哪张表。 #!/bin/bash source /etc/profile user1=root pass1=...
Datax安装及使用文档.doc
09-23
通过网上收集整理了分DataX的安装及使用文档，如有需要的可以下载了解
异构数据同步，阿里开源datax
09-02
打包好的支持Oracle\PostGreSQL\MySQL异构数据库间数据同步； 配置的模板解压见job目录下的 xx2xx_DEMO.json
阿里开源ETL工具DATAX
05-29
阿里开源ETL工具DATAX
Scratch 手速判断游戏：反弹之神.sb3
05-16
游戏警报：潜入“反弹”，这是一种充满活力的街机体验，你的反应主宰了竞技场！受youtuber Dani 一天游戏挑战的启发，你就是一个肩负使命的球：发射、得分、生存！ 为你的射击蓄力：按住鼠标等待射击时间。 瞄准并发射：释放以朝光标射击。距离等于速度和弹跳力！ 得分：击球得分。 避开格林：他们是游戏终结者！ 阻止红色和紫色：如果他们垫底，他们会伤害你的健康。紫色添加了随机反弹的狂野扭曲！ SJA 分析数据： · 代码数量： 代码总数：4775 ，有效代码：4671 ，代码块：164 ； · 高级编辑： 扩展种类：2 ，函数定义：49 ，变量 & 列表定义：165 ； · 资源数量： 角色数：12 ，造型数量：444 ，音频数量：54 ； · 资源大小： 工程大小：19.1MB ，音频大小：15.4MB ，造型大小：1.7MB 。 此后仍有作品或有趣游戏，可以进行学习与借鉴。请关注作者，且点赞加收藏，记得推荐好友。下载即可游玩，快来下载吧！五星好评可以私信我，免费送资源！快来评论吧！
【课程设计】实现的金融风控贷款违约预测python源码.zip
05-16
【课程设计】实现的金融风控贷款违约预测python源码.zip
一个基于STM32F103单片机的无线测距系统.zip
05-16
一个基于STM32F103单片机的无线测距系统.zip
node-v0.10.9-sunos-x86.tar.gz
05-16
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
PiP-Tool.msi
05-16
PiP-Tool
node-v0.10.10-sunos-x86.tar.gz
最新发布
05-16
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
node-v0.10.30-sunos-x64.tar.gz
05-16
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
JAVA网络通信系统的研究与开发(LW+源代码+开题报告).zip
05-16
JAVA网络通信系统的研究与开发(LW+源代码+开题报告)JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).JAVA网络通信系统的研究与开发(LW+源代码+开题报告).
Supervised_contrastive_loss_pytorch-main.zip
05-16
Supervised_contrastive_loss_pytorch-main
node-v4.1.0-darwin-x64.tar.xz
05-16
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
datax 记录字段血缘
05-20
DataX是一个支持多种数据源的数据同步工具，可以将数据从一个数据源复制到另一个数据源。在数据同步过程中，记录字段血缘是很重要的，因为它可以帮助我们了解数据从哪里来，经过了哪些处理，最终到达了哪里。 DataX支持记录字段血缘，可以通过配置相关参数来实现。具体来说，可以在Job配置文件中设置"job.content"参数，用于指定数据同步任务的内容。在"job.content"参数中，可以通过添加"fieldLineage"属性来启用字段血缘记录功能。例如： ``` { "job": { "content": [ { "reader": {...}, "writer": {...}, "fieldLineage": true } ] } } ``` 在启用了字段血缘记录功能后，DataX会在数据同步过程中自动记录每个字段的来源和去向。这些信息可以通过DataX的日志文件或者血缘库来查看和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值