Code:[HdfsReader-10], Description:[读取文件出错]. - 检查文件[hdfs://hdp7:8020/warehouse/gmall/000000_xxx

最新推荐文章于 2023-06-03 20:21:55 发布
最新推荐文章于 2023-06-03 20:21:55 发布
阅读量587 收藏
点赞数 1
分类专栏： 数据同步 文章标签： linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/peizhengguang/article/details/126070281
版权

问题场景：使用Datax将hdfs数据导入到clickhouse报错

解决思路：

首先根据他给出的报错信息进行排查，根据指定路径去查看指定文件 有一个文件是0KB的 将文件下载到本地打开时一个空文件，以至于读不到数据。

解决：方法将空的文件删除

 

 

Tanks

是小裴啊
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
读取集群中HDFS上的文件报错Error: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSCl
QYHuiiQ
06-07 756
在MapReduce中读取HDFS上的文件时报错： 这是因为每个datanode使用的是同一个Configuration对象，节点在访问文件系统时会根据Configuration对象创建一个FileSystem实例（我的自定义Mapper中的代码）：创建的这个实例默认会存在缓存中（由于下图中的源码），所以每个节点来读取时使用的就是同一个实例，这样如果一个节点读完了文件，然后关闭流，下一个节点来读取时就会报错。 而如果我们不添加配置禁用缓存，那么默认是false：所以需要对Configuration对象添
datax抛出错误ORA-00933: SQL command not properly ended
hbhe0316的专栏
10-11 1546
在执行命令python /datax/bin/datax/py /datax/job/test.json命令，抛出如下错误 com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-07], Description:[读取数据库数据失败. 请检查您的配置的 column/table/where/querySql或者向 DBA 寻求帮助.]. - 执行的SQL为: SELECT * FROM HBHE.t1 WHER
读取HDFS上的文件时报错
LongfeiZhou的博客
05-12 1292
使用spark读取HDFS上的文件时报错报错使用spark读取HDFS上的文件时报错 Exception in thread “main” java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag
datax-＞hdfsreader-＞orc文件读取出错ArrayIndexOutOfBoundsException: 6
cclovezbf的博客
08-23 1619
真正的原因应该是hive写的时候采用的高版本 比如 我们cdp是hive3.1.1的 写orc文件的时候会有一个版本号， 比如我debug的时候发现cdh-hive2.1.1版本的orc文件都是 hive13083。这里我就要吐槽了，注意看这里很明显是一个记录hive或者orc版本的枚举，明显有个future就是为了应付后面的版本的升级 id 0123肯定是老版本了，4差不多是新版本，还有未来的版本，你这里这个from方法写的和屎一样，写个大于不好么。那个version.from写的垃圾，改下就好了呗。..
datax-hdfsReader空目录报错
cclovezbf的博客
11-30 1816
今天同事遇到了一个问题。 就是hdfsreader->mysqlwriter这种的时候。 有的分区没有数据会报错。 com.tencent.s2.dataingestion.common.exception.DataXException: Code:[HdfsReader-08], Description:[您尝试读取的文件目录为空.]. - 未能找到待读取的文件,请确认您的配置项path: /user/hive/warehouse/dwdmdata.db/dm_tax_f_income_acc
hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed
ZeroKoop
02-28 824
参考链接 1、创建文件系统实例的时候使用下面： FileSystem fs=FileSystem.newInstance(conf); 而不是：fs = FileSystem.get(conf);
解决-BASH: /HOME/JAVA/JDK1.8.0_221/BIN/JAVA: 权限不够问题
08-25
主要介绍了解决-BASH: /HOME/JAVA/JDK1.8.0_221/BIN/JAVA: 权限不够的问题,需要的朋友可以参考下
大数据架构：flume-ng+Kafka+Storm+HDFS实时系统组合
02-25
本文来自于csdn,大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术...
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
在hadoop分布式文件系统上实现ftp 服务
深入理解HDFS：Hadoop分布式文件系统
02-24
统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统（NFS）虽然也...
DataX HdfsReader 源码分析，及空文件 Bug修复和路径正则功能增强
Yore - Home
05-22 2946
本文主要在源码层面介绍了 DataX hdfsreader 模块，针对实际生产环境中出现的两个问题，一个是当用普通方式在 json 中指定 path 时，改文件夹下存在 空文件时异常；以及当使用正则方式指定 path 时当前仅支持 单字符和多字符，而直接使用字符集或者范围时会报错。针对这两个 Bug 在源码层面上进行了修复。
【问题】hadoop读取文件失败
随便写写
05-07 748
环境 hadoop3.2.1 要实现的功能和代码 读取hdfs上的文件。 Configuration conf = new Configuration(); try (FileSystem fs = FileSystem.get(conf)) { Path basePath = new Path("hdfs://hdfs-cluster/"); FileStatus[] files = fs.listStatus(basePath); for (FileStatus file : files) {
Hadoop之HDFS(1)
刘瑞东的专栏
03-01 1291
1          HDFS概述 HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上，客户端联系Namenode以获取文件的元数据或修饰属性，而真正的文件I/O操作是直接和Data
0000 0001 、HDFS 和 MapReduce
weixin_34292924的博客
06-24 102
为什么80%的码农都做不了架构师？>>> ...
Directory hdfs://hadoop101:8020/warehouse/xxx/dt=2021-01-03 could not be cleaned up.
阿年的博客
06-03 342
向Hive分区表中load数据报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://hadoop101:8020/warehouse/gmall/ods/ods_order_info/dt=2021-01-03 could not be cleaned up. 可能是手动删除数据导致元数据没有被删除，所以再次load数据报错，解决办法是将表删除再重新创建
dolphinscheduler调度datax脚本执行错误原因（我见）
Linmeng001的博客
10-13 1722
dolphin调度datax，io问题
hadoop平台读取文件报错
数据服务中心，数据平台，数据开发
12-08 6158
背景： 生产环境有个脚本执行读取st层表数据时出现IO错误，查看表目录下的文件，都是压缩后的文件。详细信息如下： Task with the most failures(4): ----- Task ID: task_201408301703_172845_m_003505 URL: http://master:50030/taskdetails.jsp?jobid=j
安装dataX的问题，com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe
zly03的博客
04-02 6048
文章目录报错安装:解决方法总结 报错 com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件. 安装: 该dataX下载的地址 安装过程就不详细介绍了，就分享下面我遇到的一个Bug，在执行
fluent 帮助文档_Fluent非定常算例流线穿物面
weixin_39692254的博客
11-30 2202
对Fluent的非定常算例绘制流线图或速度矢量图Fluent直接输出的文件格式为case data，对于一系列的非定常算例导入到Tecplot进行流场结果的处理时，会涉及到绘制流线或者矢量图，图 1所示的流线图实际上是有问题的，注意观察翼型上表面靠近后缘的位置，流线在壁面附近是垂直壁面的（在Tecplot中的流线变量为x-velocity，y-velocity），相应的速度矢量也是这样。图 1 翼...
java.io.FileNotFoundException: File does not exist: hdfs://master:8020/spark-logs
最新发布
07-12
您好！对于您提到的异常 `java.io.FileNotFoundException: File does not exist: hdfs://master:8020/spark-logs`，这通常意味着您的代码尝试访问一个在 Hadoop 分布式文件系统（HDFS）上不存在的文件。 请确保您的代码使用正确的 HDFS 文件路径，并且文件确实存在于该路径下。您可以通过以下方法来验证： 1. 使用 Hadoop 命令行界面（CLI）或 Hadoop web 界面来确认文件是否存在。例如，使用以下命令查看文件是否存在： ```shell hadoop fs -ls hdfs://master:8020/spark-logs ``` 如果文件存在，命令将显示文件的详细信息；如果文件不存在，则会显示错误消息。 2. 如果您确定文件存在于 HDFS 中，请确保代码中使用的 HDFS URI 和端口号是正确的。在您的异常信息中，URI 是 `hdfs://master:8020`，请确保 `master` 是您 Hadoop 集群中正确的主机名或 IP 地址，并且 `8020` 是正确的 HDFS 端口号。 如果以上步骤都没有解决问题，请提供更多关于您的环境和代码的详细信息，以便我能够更好地帮助您解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值