datax踩坑1: - java.lang.IllegalArgumentException: No enum constant com.alibaba.datax.plugin.writer.hdf

已于 2023-10-25 16:30:45 修改
阅读量246 收藏
点赞数
文章标签： 大数据
于 2023-10-25 16:27:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50665565/article/details/134037872
版权

由于不清楚datax类型然后去网上看到如图,我把所有的int类型改为了long类型

然后如图， 

然后我去看了datax最新的源码，如图

如图已经没有long类型了只有bigint类型，这就告诉我们网上资料的实时性，以及代码的迭代是很快的。

祸事的妖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DataX从hive导出数据到mysql报错，无法将hive表中数据内容导入mysql
abc5254065的博客
01-18 2861
ERROR StdoutPluginCollector - 脏数据: {"message":"No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReaderUtil.Type.BIGINT","record":[{"byteSize":2,"index":0,"rawData":"城市","type":"STRING"},{"byteSize":0,"index":1,"raw...
plugin-unstructured-storage-util-0.0.1-SNAPSHOT.jar
02-21
修改datax源码plugin-unstructured-storage-util下的UnstructuredStorageReaderUtil.class 加上一个判断，因为在hdfs中，null值存储的是 \N ,所以需要把它转换成 null存储到Mysql中
datax-web-2.1.2.tar.gz+datax.tar.gz
05-31
datax-web-2.1.2.tar.gz+datax.tar.gz
【踩坑实录】-No enum constant com.alibaba.datax.plugin.writer.hdfswriter.SupportHiveDataType.DECIMAL(6,4)
chimchim66的博客
10-13 1866
datax HdfsWriter不支持decimal类型
java.lang.IllegalArgumentException 异常报错完美解决
热门推荐
辰小白
07-12 15万+
目录 修改JDK使用版本 修改开发工具idea配置（eclipse的直接跳过这个看下面） 修改开发工具eclipse配置 学习spring依赖注入的时候碰到这个坑，折腾了许久，记录一下以防其他小伙伴入坑！ 该异常主要原因是因为JDK与Spring版本不一致。要么更换jdk，要么重新下载符合jdk的springjar包 我本地装了两个JDK版本，一个1.8，一个1.7，原本以为只要修改一...
java.lang.IllegalArgumentException: No enum constant Enum（数据库 Integer 转换 Enum 异常）
qq_45099061的博客
02-20 1万+
项目场景： 整理移动class后，请求数据库数据异常 问题描述： Integer 转换 enum 异常 java.lang.IllegalArgumentException: No enum constant Enum 原因分析： enum类 没有被扫描到 解决方案： 一：修改yaml（我使用的是myBatis plus） 改成现在enum 的路径即可或者使用全路径 二：类型转换器 （通用） 相关基础知识可以上官网学习： 网址： 通用...
DataX开发问题集锦（持续更新中）
qq_27924553的博客
01-19 2399
datax开发问题集锦（持续更新中）
java.lang.OutOfMemoryError 错误整理及解决办法
09-01
主要介绍了java.lang.OutOfMemoryError 错误整理及解决办法的相关资料,需要的朋友可以参考下
datax-elasticsearch-master.zip
09-09
阿里巴巴Datax离线同步方案到ElasticSearch（官方由于不维护，所以没有读取/写入到ElasticSearch的方案），这里给出了读取/写入方案插件代码，直接编译出Jar包放到Datax中即可。
DataX_Python3-master.zip
02-24
替换datax bin目录下面的三个.py文件，支持python3环境
datax报错：No enum constant com.alibaba.datax.plugin.reader.hdfsreader.DFSUtil.Type.BIGINT
最新发布
chimchim66的博客
12-21 638
使用datax从hive2pg时报错。
DataX实践趟坑大全
不羁的风
07-10 2454
项目存在多源异构的问题，所以选取DataX做数据同步。实践过程中，发现了很多DataX的天坑。将问题和解决方法记录如下。 一.不支持mysql 8.0问题 1.现象 RetryUtil - Exception when calling callable, 即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1000]ms, 异常Msg:[Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或.
dataX报错com.alibaba.datax.common.exception.DataXException: Code:[Framework-14]Description:[DataX传输脏数据
weixin_59295776的博客
07-25 1776
com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期，该错误通常是由于源端数据存在较多业务脏数据导致，请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过，限制是[0]条，但实际上捕获了[6]条.解决方案：将json文件中不匹配的int类型变更更为dataX支持的long类型即可。
【踩坑实录】-No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReade
chimchim66的博客
11-07 1774
datax脏数据类型错误
华为OD机试C、D卷 - 文本统计分析（Java & JS & Python & C & C++）
03-21 10万+
有一个文件，包含以一定规则写作的文本，请统计文件中包含的文本数量。 规则如下： 文本以 ";" 分隔，最后一条可以没有 ";" ，但空文本不能算语句，比如 COMMAND A; ; 只能算一条语句。 注意，无字符/空白字符/制表符都算作"空"文本； 文本可以跨行，比如下面，是一条文本，而不是三条 COMMAND A AND COMMAND B; 文本支持字符串，字符串为成对的单引号(')或者成对的双引号(")，字符串可能出现用转义字符(\)处理的单双引号("your inp
记录一次datax的hdfswriter插件报错
weixin_40313445的博客
04-14 1865
背景：因orc的存储格式引起的问题相对来说较多，所以公司决定所有的表都采用parquet格式，因为datax插件需要增加parquet格式的支持。最终定位的问题是由于配置文件中配置的字段大写引起的，我们公司生成的datax的配置文件，都是大写，最终导致问题的发生。福利来了，附改造写入parquet格式的代码，主要修改了两处，根据各自需求进行修改即可。定位问题就好解决了，再获取类型的时候直接给转成小写。
Datax从Hive中导出数据写入到MySQL
wowSpark
05-08 3865
Datax从Hive中导出数据写入到MySQL读取Hive数据时，Datax内部支持的数据类型脏数据错误类型的解决方法 读取Hive数据时，Datax内部支持的数据类型 Hive1.2.x 版本支持的数据类型已经很丰富了，但是Datax目前还支持不了这么多的数据类型，如果不注意的话，将会抛出很多奇怪的问题：比如 脏数据 的问题。 DataX 内部类型 Hive表 数据类型 Long TINYINT,SMALLINT,INT,BIGINT Double FLOAT,DOUBLE Str
java.lang.IllegalArgumentException: No enum constant org.apache.ibatis.type.JdbcType.VARCHER
cjhxydream的博客
08-01 1万+
错误提示： 1. ERROR FrameworkServlet.initServletBean - Context initialization failed com.hex.goframe.exception.GFRuntimeException: failed to build SqlSessionFactory! 2. Caused by: org.spring...
java.lang.IllegalArgumentException(求解决)
m0_51056112的博客
03-08 773
IllegalArgumentException（求解决）
[DataX引擎运行过程出错 java.lang.ClassCastException: java.lang.String cannot be cast to java.util.List
07-27
引用\[1\]中提到，这个错误是由于在使用datax-common中的Configuration.java工具类时，当设置的json中的值字符串内容也包含\[\]时，调用Object object = this.get(path, List.class);返回的内容为String，而不是List对象，导致类型转换异常。为了修复这个问题，可以对代码进行如下修复：在getList方法中添加异常处理，当发生类型转换异常时，将String值添加到List中。然后重新打包datax-common模块，将datax/lib下的datax-common-0.0.1-SNAPSHOT.jar替换为新打好的jar。\[1\] 引用\[2\]中提到，还可以修改属性类型，将List<Operation>修改为内部类OperationList，以解决泛型擦除问题。\[2\] 引用\[3\]中提到，还需要在相应的配置文件中添加javaType="org.example.modules.business.entity.SysMenu$OperationList"，以确保正确的类型处理。\[3\] 综上所述，要解决DataX引擎运行过程中的java.lang.ClassCastException错误，可以根据上述修复方法进行操作。 #### 引用[.reference_title] - *1* [DataX HdfsReader 源码分析，及空文件 Bug修复和路径正则功能增强](https://blog.csdn.net/github_39577257/article/details/106276811)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [数据库json格式字段映射，以及泛型擦除笔记](https://blog.csdn.net/rakunjo/article/details/123066912)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值