Datax 报错：ERROR StdoutPluginCollector---hive写入gp库

最新推荐文章于 2023-07-25 14:40:19 发布
最新推荐文章于 2023-07-25 14:40:19 发布
阅读量2k 收藏 1
点赞数
分类专栏： datax error stdoutplugincollector 软件开发中遇到的问题和解决方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17000457/article/details/118608969
版权

Datax 报错：ERROR StdoutPluginCollector -hive写入gp库，转换错误如下：
error stdoutplugincollector 脏数据
其他网站说是什么版本，什么数据类型错误，不一而足，但是对我个人而言不好使，没办法，喝口凉水，告诉自己这时候不要慌，看下日志上方的Engin信息，看下reader下的column信息，

"column":[
{“index”:"0","type":"varchar"},
........
]

这里hive中的数据类型就没有varchar，问题找到了，去改下sourceContentMap内部的sColumn类型就可以了。

charles1002
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
datax-web-ui:DataX Web UI
03-20
Datax Web UI说明该项目由修改而来构建设置运行npm install [ 慢的话用 npm install --registry https://registry.npm.taobao.org]修改配置找到vue.config.js修改proxy里的属性即可[process.env.VUE_APP_API]: { ...
【已解决】DataX报错：ERROR StdoutPluginCollector - 脏数据: {“exception“:“Could not retrieve transation read-on
Cocowwy的博客
04-26 5226
使用阿里的DataX工具进行数据迁移的时候，入库的时候报错，纠结了一天终于找到了原因 ERROR StdoutPluginCollector - 脏数据: {"exception":"Could not retrieve transation read-only status server","record":[{"byteSize":3,"index":0,"rawDat 原因：MySQL版本与DataX指定的mysql的连接驱动的版本对应不上 你可以通过 select version() 命令查看
【mysql数据库】报错解决：ERROR StdoutPluginCollector - 脏数据: {“exception“:“Incorrect string value: ‘\\xF0\\x9
weixin_34200157的博客
12-09 2938
设置字符集为tf8mb4会好很多
Datax 报错：ERROR StdoutPluginCollector - java.sql.SQLException: TIMESTAMP 类型转换错误
weixin_45780435的博客
06-02 3715
一、相关日志截图 二、问题场景 使用datax 将mysql数据同步到mysql，执行任务后发现日志显示timestamp类型转换错误。 三、解决方法 因为目标表该字段类型是datetime类型，所以要在逻辑中进行转换。 cast(字段名 as datetime) ...
datax之core.json
viviliving的专栏
01-07 1860
{ "common": { "column": { "dateFormat": "yyyy-MM-dd", "datetimeFormat": "yyyy-MM-dd HH:mm:ss", "encoding": "utf-8", "extraFormats": ["yyyyMMdd"], "timeFormat": "HH:mm:ss", "timeZone": "GMT+8" } }, "c.
dataX报错com.alibaba.datax.common.exception.DataXException: Code:[Framework-14]Description:[DataX传输脏数据
weixin_59295776的博客
07-25 2164
com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期，该错误通常是由于源端数据存在较多业务脏数据导致，请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过，限制是[0]条，但实际上捕获了[6]条.解决方案：将json文件中不匹配的int类型变更更为dataX支持的long类型即可。
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
plugin-unstructured-storage-util-0.0.1-SNAPSHOT.jar
02-21
修改datax源码plugin-unstructured-storage-util下的UnstructuredStorageReaderUtil.class 加上一个判断，因为在hdfs中，null值存储的是 \N ,所以需要把它转换成 null存储到Mysql中
datax-es:从mysql导入es 重写代码
05-16
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步...
windows本地部署DataX-web
最新发布
07-22
### Windows本地部署DataX-Web知识点详述 #### 一、概述 DataX-Web是一款集成了DataX的可视化管理工具，它简化了数据同步任务的创建过程，并提供了丰富的功能来支持不同数据源之间的同步需求。该工具支持包括但不...
DataX从hive导出数据到mysql报错，无法将hive表中数据内容导入mysql
abc5254065的博客
01-18 2925
ERROR StdoutPluginCollector - 脏数据: {"message":"No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReaderUtil.Type.BIGINT","record":[{"byteSize":2,"index":0,"rawData":"城市","type":"STRING"},{"byteSize":0,"index":1,"raw...
解决datax导入mysql时中文无法导入问题
weixin_47303949的博客
06-18 1635
问题：在使用datax将sqlserver的数据导入mysql时报错，而且含有中文的数据导不进去 报错为：ERROR StdoutPluginCollector - java.sql.SQLException: Incorrect string value: ‘\xB0\xEB\xD7\xD4\xB6\xAF…’ for column ‘sc_prnn’ at row 1 而且显示如下报错信息 一看mysql发现含有中文的字段所对应的值都没有导入进来，所以是编码问题 解决方法如下： 1.修改datax的
阿里云大数据利器Maxcompute学习之--数据同步任务常见日志报错总结
chuhan3075的博客
05-18 2183
在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。 那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事...
基于DataX的crontab定时同步功能——CentOS7.6下DataX完美详细安装配置使用解析，和crontab灵魂结合
本博客暂停使用
12-12 1165
DataX亵玩 学习 0.环境 现在JDK版本是需要1.8了，官方源码都进行了升级 ITEM VERSION CentOS 7.6 JDK 1.8.0_232 Python 2.7.15 Maven 3.6.3 JDK安装配置【完美】 # 卸载默认环境 yum -y remove java-1.8.0-openjdk* yum -y remo...
Datax从Hive中导出数据写入到MySQL
wowSpark
05-08 4224
Datax从Hive中导出数据写入到MySQL读取Hive数据时，Datax内部支持的数据类型脏数据错误类型的解决方法 读取Hive数据时，Datax内部支持的数据类型 Hive1.2.x 版本支持的数据类型已经很丰富了，但是Datax目前还支持不了这么多的数据类型，如果不注意的话，将会抛出很多奇怪的问题：比如 脏数据 的问题。 DataX 内部类型 Hive表 数据类型 Long TINYINT,SMALLINT,INT,BIGINT Double FLOAT,DOUBLE Str
阿里云大数据工厂DataWorks学习之--数据同步任务常见日志报错总结
weixin_34128411的博客
05-16 1600
在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。 那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事务的数据库中，数据批量写入，一旦由于各种原因没有写入成功，这个批次的数...
DataX源码解析与插件开发
qq_26777585的博客
09-26 1592
DataX源码解析与插件开发 DataX是个啥 框架设计 源码下载与工程编译 Job&Task概念 物理运行模型 源码解析(不包括重入锁和有界阻塞队列) 插件开发和调试 插件部署 Datax源码解析与Writer插件开发 Datax是个啥 DataX 是阿里巴巴集团内被广泛使用的 离线数据 同步工具/平台，实现包括 MySQL、Oracle、Sq...
datax抄写oracle抛出错误ORA-32795说明
hbhe0316的专栏
10-29 954
1.在使用datax抄写的时候出现如下抛错：https://www.cndba.cn/hbhe0316/article/5008 https://www.cndba.cn/hbhe0316/article/5008 https://www.cndba.cn/hbhe0316/article/5008 2021-10-29 15:49:01.201 [0-0...
datax-web部署报错： Error querying database. Cause: org.springframework.jdbc.CannotGetJdbcConnectionException:
10-14
这个错误提示表明 datax-web 应用无法连接到数据库，请检查数据库配置是否正确以及数据库是否正常运行。 具体排查步骤如下： 1. 检查 datax-web 的配置文件，确认数据库连接信息是否正确。 2. 确认数据库是否正常运行，可以通过命令行或者可视化工具连接数据库进行测试。 3. 检查数据库的权限设置，确认 datax-web 应用有足够的权限访问数据库。 4. 检查防火墙设置，确认数据库端口是否开放。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值