sqoop使用hcatalog抽取数据异常

最新推荐文章于 2024-03-07 12:28:20 发布
VIP文章 最新推荐文章于 2024-03-07 12:28:20 发布
阅读量3.3k 收藏
点赞数 1
分类专栏： 个人总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wflh323/article/details/89185448
版权

   sqoop使用hcatalog抽取数据到hive，开启hdfs sentry权限同步后sqoop hcatalog脚本执行任务失败，错误日志如下:

Job commit failed: org.apache.hive.hcatalog.common.HCatException : 2006 : Error adding partition to metastore. Cause : org.apache.hadoop.security.AccessControlException: Permission denied. user=basePlat is not the owner of inode=ss_dt=20180410

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkOwner(DefaultAuthorizationProvider.java:188)

at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:174)

at org.apache.sentry.hdfs.SentryAuthorizationProvider.checkPermission(SentryAuthorizationProvider.java:178)

at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3529)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3512)

at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkOwner(FSDirectory.java:3477)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOwner(FSNamesystem.java:6582)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermissionInt(FSNamesystem.java:1808)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission(FSNamesystem.java:1788)

at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission(NameNodeRpcServer.java:654)

at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.setPermission(AuthorizationProviderProxyClientProtocol.java:174)

at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission(ClientNamenodeProtocolServerSideTranslatorPB.java:454)

at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)

at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)

at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)

at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:22

最低0.47元/天 解锁文章
kevin_wf
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hcatalog配置以及sqoop集成使用
ImezZ
01-13 3691
hcatalog配置以及sqoop集成使用 1、环境变量配置 vim ~/.bashrc export HCAT_HOME=/usr/hive/hcatalog export PATH=$PATH:$HCAT_HOME/bin 2、查看hive版本下载对应的hive-hcatalog放在hcatalog目录下 查看hive版本 hive --version Hive 2.3.6 我的hive版本是2.3.6，则在maven库下载对应的jar包 https://mvnrepository
Sqoop Hive Caused by: MetaException(message:Version information not found in metastore.)
m0_68415041的博客
02-19 491
Sqoop Hive Caused by: MetaException(message:Version information not found in metastore.)
sqoop支持Hcatalog使用hcatalog参数后问题集锦
cuichunchi的博客
11-18 8028
官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4 问题描述： sqoop1.4.6 hadoop2.7.3 hive-2.1.1 本人编写的sqoop脚本如下： 参数解释： --hcatalog-database 指定HCatalog表的数据库名称。如果未指定，default则使用默认数据库名称。提供--hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的.
Sqoop “hcatalog does not exist!” 提示信息消除方法
最新发布
小方块的博客
03-07 566
1）进文件夹2）编辑文件3）按一次电脑的esc键，输/HCAT_HOME搜出对应位置4）搜出来后，这一部分全部注释掉5）在每一行的最前面打一个井号6）按一次电脑的esc键，输/HCAT_HOME再继续搜一次7）在每一行的最前面打一个井号。
sqoop 常用命令及参数
半吊子Kyle的博客
08-30 1439
sqoop 常用命令及参数sqoop 命令说明数据库连接相关参数import 相关参数export 相关参数hive 相关参数 Sqoop User Guide (v1.4.7) (apache.org) sqoop 命令说明 数据抽取方式介绍 sqoop 数据抽取（即导入和导出，抽取的双方是相对的）的方式有以下两种 ① Sqoop API（使用较多） 数据的格式支持比较少，数据允许覆盖，不要求源表和目标表字段相同 (字段名称和个数都可以不相同) ，它抽取的方式是将字段按顺序插入，不够的字段为 Null ②
[博学谷学习记录]超强总结，用心分享|Sqoop数据导入至hive(原生API与HCatalog API)
weixin_43814165的博客
10-31 1129
Sqoop数据导入至hive(原生API与HCatalog API)
Sqoop 导入数据异常处理
01-07
解压使用会出现几个bug，之前也是出现了，然后也没有来记录一下。现在记录一下. 问题1. 第一个，你要把mysql驱动包放在lib目录下。不然会报找不到驱动包的错误 问题2. Exception in thread “main” java.lang....
使用sqoop抽取mysql数据
10-26
使用sqoop从传统数据库mysql中抽取数据到大数据集群。
运行Sqoop出现hcatalog does not exist!…accumulo does not exist!解决方案
01-07
Warning: /opt/module/sqoop/bin/…/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop/bin/…/…/accumulo ...
sqoop 使用手册
04-03
sqoop 使用手册 使用方便，需要的同学可以下载啦！！！
sqoop使用.txt
11-06
sqoop数据导出工具
sqoop的原生抽取方式与HCatalog抽取的区别
u013039401的博客
02-06 234
两者的区别: 文件格式支持不同,HCatalog支持新的文件格式:RCFile,ORCFile HCatalog更安全,不允许覆盖,原生sqoop抽取支持覆盖 字段匹配,sqoop原生是顺序匹配mysql和hive字段 HCatalog通过字段名字进行匹配,更容易读,不容易出错 ...
Hadoop错误：failed with state FAILED due to: Application
热门推荐
wangsg2014的专栏
05-10 1万+
0、部署Hadoop执行程序 ​ 部署Hadoop完成后，修改了namenode名称，从localhost修改为hadoop001，然后在Hadoop上运行测试程序wordcount 1、任务执行时，报错，具体信息如下： 20/05/09 23:55:49 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 20/05/09 23:55:51 INFO input.FileInputFormat: Total input
记一次使用SQOOP抽数到Hive遇到的问题
Meepoljd的博客
05-21 4019
记一次使用SQOOP抽数到Hive遇到的问题 前置条件 1.源端数据库类型为Mysql 2.目标端是Hive库，beeline为1.1.0 3.Hive建表时使用了分桶，并且加入了stored as orc参数，之前这么创建是为了能够实现delete等操作 处理过程 最初想要在Sqoop中使用hcatalog直接建表+抽数据，语句是这样写的： sqoop import --connect jdbc...
sqoop抽数、推数（关系型数据库：oracle； 数仓：impala）
u013983161的博客
03-07 3053
1.从Oracle抽数到impala #!/bin/sh source /etc/profile source ~/.bash_profile sqoop import --connect jdbc:mysql://ip:3306/数据库名称 \ --username 用户名称 --password 密码 --table '表名' \ --columns 'columns1,colums2,colums3' \ --target-dir /FINBB/ODS/表名 \ --dele...
用Sqoop从oracle导出到Hive中的ORC table
euler1983的专栏
12-13 2712
之前尝试的都是用sqoop导出到hive中的hdfs里，作为外部表。再到hive里建内部表，关联上外部表。 这次尝试直接用sqoop将oracle数据（千万量级）导出到hive中的内部表里。 全程不需要手动建表，方法如下： 1. 利用cx_Oracle程序从oracle里读取表格的前几行数据，读成pandas dataframe。 2. 利用pyspark程序从oracle里用spark.read.jdbc读取原始表，返回值为pyspark dataframe。 3. 利用pyspark的sche
sqoop同步数据
lehsyh的专栏
08-29 808
(1) 把lzo的jar包复制到sqoop_home的lib下: sqoop-1.4.7.bin__hadoop-2.6.0]$ cp hadoop-lzo-0.4.20.jar lib/sqoop需要hadoop2.x环境,所以在配置环境里加相应的配置(感觉配置HADOOP_COMMON_HOME和HADOOP_MAPRED_HOME不太有效)3) mysql数据导入到hdfs。这两个参数需要进一步验证有效性。1) 查看数据库列表。...
sqoop hcatalog数据导出
黄州大侠的博客
06-10 2626
将分区表中的数据导入mysql 创建mysql表 create table if not exists test.test_product_id ( product_id bigint(11) comment "商品ID", product_name varchar(255) comment "商品名称", settle_price decimal(20, 2) comment "结算价格", product_main_id bigint(11) comment "主商品
sqoop抽取mysql的数据到hive表里面，字段内容被自动截取，导致字段不全的问题解决
放肆桀骜
10-10 769
今天央视重新转播NBA，写篇博客纪念一下这个重要的日子，湖人的表现就呵呵了！！！！ 强行转到博客的主题来 mysql的字段属性：该字段能存下的值比如：“山东” `province` varchar(3) NOT NULL COMMENT '省份' 用sqoop sqoop import --connect "jdbc:mysql://xxxxxx:3306/xxxxxx?tinyInt1isBit=false&zeroDateTimeBehavior=convertToNull..
sqoop工具抽取数据
05-21
Sqoop是一个开源的工具，用于在Apache Hadoop和关系型数据库之间进行数据传输。它支持从关系型数据库（如MySQL、Oracle等）中导入数据到Hadoop分布式文件系统（HDFS），或将数据从HDFS导出到关系型数据库。Sqoop可以处理大量数据，它能够自动将多个Mapper和Reducer组合起来，以实现高效的数据传输和处理。 使用Sqoop抽取数据的步骤一般如下： 1. 安装和配置Sqoop，并确保Sqoop和Hadoop集群连接正常。 2. 使用Sqoop命令行工具连接到数据库，并指定需要导入或导出的数据表。 3. 指定导入或导出的数据文件格式（如文本文件、压缩文件等）和目标文件路径。 4. 指定数据传输的方式，如全量导入、增量导入等。 5. 如果需要，可以使用Sqoop提供的一些数据转换功能，如数据映射、数据过滤、数据拆分等。 6. 执行Sqoop命令，等待数据传输和处理完成。 需要注意的是，Sqoop的使用需要一定的SQL和Hadoop基础知识，以确保正确地设置Sqoop的参数和选项。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值