【Sqoop】Descriptor location does not exist: hdfs://<path>.metadata

最新推荐文章于 2022-06-02 17:28:23 发布
最新推荐文章于 2022-06-02 17:28:23 发布
阅读量1.5k 收藏
点赞数
分类专栏： sqoop 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feng12345zi/article/details/80097677
版权
Sqoop v1.4.6 Bug，目前还在修复，fix version待定：https://issues.apache.org/jira/browse/SQOOP-3151
Lyle-liang
关注
专栏目录
File does not exist: /user/anonymous/.staging/job_1628851608378_6064/报错问题解决
石榴姐yyds
08-16 1835
user/admin/.staging/job_1571397171638_0001/job_1571397171638_0001_1.jhist 所以为什么没有下发，这里面jhist，只是被引发的错误，它还不是根本的错误。看到上面错误，我们就可以判断，这是网络问题，然而网络无非是ip地址，防火墙，端口，hosts等。我们正常的hosts是这样的。在回头复盘想想，我们找不到jhist，跟我们的网络问题二者是很难找到关联的，所以大家在遇到问题的时候，一定多排查和思考，而不是看到一个错误，就以为是它的问题。
记一次mr中途落盘数据丢失 hdfs超租约异常 Error: java.io.FileNotFoundException: File does not exist:
Direction_Wind的博客
01-31 1049
这种问题首先定位的是hdfs和hadoop基础环境的问题，因为不是稳定发生，概率也不确定，所以非常不好复现，但却关键时刻会发生给你一记背刺，最关键的是失败了他会判定为成功，你就算监控都监控不到，就很让人麻。将DataNode max data transfer threads 参数从16401 翻倍 解决问题。现象为：mr任务偶尔中途失败，但执行结果yarn会判定为成功，具体可以看日志报错。
Descriptor location does not exist: hdfs://<path>.metadata
feng12345zi的博客
04-26 1415
Sqoop 1.4.6 的bug，文章发表时为open状态，fix version未定：https://issues.apache.org/jira/browse/SQOOP-3151
记sqoop的导入hdfs的一次异常sqoop import can not find Class ＜tablename＞
biuubi的博客
05-24 187
spoop 导入mysql表为user，这里只是简单的测试下，本以为能正常跑，但是报错了如上图 解决方式–&gt; sqoop import --connect jdbc:mysql://hadoop:3306/sqoop?useSSL=false --username root --password 123456 --target-dir /sqoop_data --split-by id --table t_user --fields-terminated-by ',' .
远程启动hadoop，ssh远程执行命令报错！hdfs命令不存在！
Dark不必
06-02 1150
ssh远程执行脚本命令
使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决
勤能补拙
12-15 1万+
一、参考文档： 1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2、http://www.cnblogs.com/bjtu-leefon/archive/2013/06/28/3160549.html 二、
flex sdk location does not exist解决方案
try { learnJAVA(); }
09-04 2124
新建flex项目时如果出现"An unknown item is declared as the root of your MXML document. Switch to source mode to correct it" 说明SDK配置出错，解决方案如下：一 如果还没有安装SDK，到 Adobe Labs上下载最新版本SDK，解压到某目录，将bin子目录写入path路径二 检查MyE
Spark Streaming实时监听HDFS目录，但出现：Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COP
a921026768的博客
06-12 1221
Spark Streaming实时监听HDFS目录，出现找不文件异常。 异常主要提示信息：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COPYING_ 详情如下图 出现问题原因 直接上传文件会在 HDFS 上生成一个临时文件，后缀是.COPYING，Spark Streaming .
sqoop：File does not exist:
不花的花和尚的博客
08-02 1626
sqoop从mysql中拉表报错： 02-08-2019 10:47:28 CST bi_cal_resume_achieve_sqoop_import INFO - 19/08/02 10:47:28 INFO hive.metastore: Trying to connect to metastore with URI thrift://pf-bigdata1:9083 02-08-201...
运行Sqoop出现hcatalog does not exist!…accumulo does not exist!解决方案
01-07
Warning: /opt/module/sqoop/bin/…/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop/bin/…/…/accumulo ...
sqoop使用以及常见问题
jeffry_ding的博客
03-13 5454
1、hdfs文件的权限问题 问题分析与解决： 根据报错信息是hdfs文件的权限问题，命令进入集群执行的用户为null，而hdfs文件所有者为hdfs。 要么以用户hdfs执行命令，要么调整hdfs文件的权限，因为我只是使用hdfs文件的其中之一，暂时考虑：以hdfs用户执行命令。 在~/.bash_profile文件增加： export HADOOP_USER_NAME=hdfs ...
Sqoop同步hive的parquet数据问题
Sin_Geek成长の迹
11-06 3157
目前通过Sqoop从Hive的parquet抽数到关系型数据库的时候会报kitesdk找不到文件的错，这是Sqoop的BUG,通过使用hcatlog的方式解决。 ERROR sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.DatasetNotFoundException: Descriptor location does not...
Sqoop常见报错及解决方式
清平乐的技术专栏
07-07 6137
1.java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver 原因：[SQOOP_HOME]/lib/下缺少mysql驱动包 2.Caused by: java.lang.RuntimeException: Can’t parse input data: '800 1 620025 塑料油箱 '；java.io.IOException: Can’t export data, please check
sqoop 导数
u013009809的专栏
08-30 602
hive 导出mysql sqoop export --connect "jdbc:mysql://****" --username "aaa" --password "bbb" --table a --export-dir "/user/hive/warehouse/adl.db/--input-fields-terminated-by '\001' --update-key bp_emp...
CDH 5.12.1集群搭建与运维过程中的一些踩坑
weixin_42473019的博客
04-22 1821
一、cmf-agent: error: argument --hostname is required 描述：启动cloudera-scm-agent失败 解决：主机名（hostname）要跟/etc/hosts里配置的一样 二、/opt/cloudera/目录更换操作 描述：CDH的parcel等文件默认放在/opt/cloudera目录下，但一般情况下这个目录的磁盘空间都比较小，需要把这些文件...
sqoop无法导出parquet文件到mysql
我是明星的专栏
06-08 5057
1.问题描述在CDH集群中我们需要将Hive表的数据导入到RDBMS数据库中，使用Sqoop工具可以方便的将Hive表数据抽取到RDBMS数据库中，在使用Sqoop抽取Hive Parquet表时作业执行异常。Sqoop抽数脚本：sqoop export \--connect jdbc:mysql://localhost:3306/test_db \--username root \--passw...
解决问题:Input path does not exist: hdfs://localhost:9000/input
热门推荐
Sunday2017的博客
03-25 2万+
问题描述：在hdfs文件系统上没有input文件，接下来我们建一个即可，百度好多都是要使用命令去创建的，还有一个就是在DFS localtion里面直接创建具体：点击，输入input--&gt;ok --&gt;  运行完成...
[root@zhaosai conf]# sqoop import --connect jdbc:mysql://zhaosai:3306/mydb --username root --password jqe6b6 --table news --target-dir /user/news --fields-terminated-by “;” --hive-import --hive-table news -m 1 Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. Warning: /opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0/../zookeeper does not exist! Accumulo imports will fail. Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation. 23/06/10 16:07:14 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 23/06/10 16:07:15 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 23/06/10 16:07:15 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 23/06/10 16:07:15 INFO tool.CodeGenTool: Beginning code generation 23/06/10 16:07:15 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:875) at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59) at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:763) at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:786) at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:289) at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:260) at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:246) at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:327) at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1872) at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1671) at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:501) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
最新发布
06-11
这段代码是使用 Sqoop 工具将 MySQL 数据库中的 news 表导入到 Hadoop 的 HDFS 中，并且使用 Hive 表示，并且在导入过程中使用了分隔符“;”。但是在执行过程中出现了一个异常，提示无法加载数据库驱动类 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值