hive存储：FAILED: SemanticException Unable to determine if hdfs://nameservice1/

最新推荐文章于 2024-04-30 15:42:44 发布
最新推荐文章于 2024-04-30 15:42:44 发布
阅读量2.7k 收藏 4
点赞数 2
分类专栏： hive踩坑集锦
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010800708/article/details/99415265
版权

用mysql作为hive的元数据存储数据库，要注意，在mysql中hive的存储路径问题

hive> select * from qq;
报错：

在这里插入图片描述

FAILED: SemanticException Unable to determine if hdfs://nameservice1/apps/hive/warehouse/external/qq is 
encrypted: java.lang.IllegalArgumentException: java.net.UnknownHostException: nameservice1

原因是因为在mysql中存储hive元数据的hive数据库中表DBS，SDS这两张表中hive数据存储默认路径需要修改

DBS：
将nameservice1这个名字替换成实际的namenode的名字
在这里插入图片描述
SDS：

在这里插入图片描述
同样将LOCATION字段中的nameservice1替换成namenode节点的名称

在这里插入图片描述
再次执行

hive> select * from qq;

000000000000000 000000000000000 24.000000 25.000000 aa-aa-aa-aa-aa-aa bb-bb-bb-bb-bb-bb 32109231 1557305985 andiy 18609765432 judy 1789098763 c3e4bcef395840098fd988de0dd71679 qq qq_source1_1111168.txt /usr/chl/data/filedir_successful/2019-08-08/data/filedir/qq_source1_1111168.txt

方兵兵
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
大数据安全-kerberos技术-hive安装包，hive版本：apache-hive-3.1.3-bin.tar.gz
06-06
1. **配置Kerberos环境**：首先，需要在Hadoop集群上安装和配置Kerberos服务器，包括设置KDC、创建服务主体（Service Principal）、以及生成密钥tab文件。 2. **创建Hive服务主体**：为Hive服务定义一个Kerberos...
Hadoop生态系统：探索除HDFS和MapReduce之外的有用工具
最新发布
06-30
Hadoop是一个开源的分布式计算平台，它通过HDFS（Hadoop Distributed File System）和MapReduce编程模型为大数据提供了存储和处理能力。然而，Hadoop的生态系统中还包括许多其他工具，这些工具扩展了Hadoop的功能，...
hdfs高可用命名空间
潇洒人生的博客
04-02 2972
高可用命名空间原理图 nn单节点时 访问hdfs 命令 hadoop fs -ls hdfs://hadoop001/ 但是高可用时 不可能改ip hadoop001，要做到无感切换时，需要命名空间来操作，通过命名空间来寻找切换主节点，这个命名空间不是一个进程，通过 hdfs://nameservice1/ 访问hdfs文件这个过程他会去找core-site.xml,hdfs-site.xm...
Shell脚本常见问题
太陽の金貨 的博客
12-05 691
1.定义变量时, =号的两边不可以留空格. eg: gender=femal————right gender =femal———–wrong gender= femal———–wrong2.条件测试语句 [ 符号的两边都要留空格. eg: if [ $gender = femal ]; then——-right. echo “you are femal”; fiif[ gender…
java.lang.IllegalArgumentException异常的正确解决方法
爱生活爱学习。
04-30 4097
如果是自己编写的方法，要确保文档清晰地说明了方法的预期参数，以及可能抛出的异常类型和原因。异常，需要仔细检查代码逻辑，确认参数的合法性，优化异常处理，并确保代码质量和可靠性。：编写单元测试用例，覆盖各种可能的参数情况，以确保方法在各种条件下都能正确处理。：首先要查看异常的详细信息，包括异常堆栈跟踪，以确定出现异常的具体位置和原因。：对于从外部获取的输入数据，要进行有效性验证，确保其符合预期的格式和约束。：根据异常信息和检查结果，修改代码逻辑，确保不会再出现非法参数导致的异常。综上所述，要正确解决。
CDH6.3.2中使用HdfsFindTool
qq_40367999的博客
06-02 442
HdfsFindTool
Found duplicate column(s) when inserting into hdfs://nameservice1/origin_data/events_7/data: `dt`；
summer089089的博客
12-28 2400
1.现象 spark_sql运行有报警如下； 有问题的sql： select g.dt, frequent , wk , hr , user_id , k.`$name` as user_name , os , manufacturer , page_name , page_url , regexp_replace(button_name,'\\n|\\r|\\t','') as button_name , button_type , first_visit_time , last_visit_time ,
CDH下HDFS重装导致hive删除表或库报错问题
qq962464qq的博客
09-15 424
CDH重装时未重新初始化hive元数据，导致元数据中指向hdfs中的数据文件已经不存在，元数据不能删除，只能修改。 查询：select * from dbs; 可以看到，不能删除是因为路径中的nameservice1不能指向重装的hdfs 解决：修改nameservice1 update dbs set DB_LOCATION_URI=REPLACE(DB_LOCATION_URI,'nameservice1','bigdata1:8020'); 查询：select * from sd..
Hive Beeline连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default
01-20
在使用Hive的Beeline客户端进行连接时，可能会遇到错误提示"Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default"。这个错误通常意味着Beeline无法通过JDBC URL成功建立到Hive ...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
Hive 性能测试程序，https://github.com/hortonworks/hive-testbench 编译
02-24
2. **HiveQL (Hive Query Language)**: Hive 提供的 SQL-like 查询语言，允许用户对存储在 HDFS 上的数据执行复杂的分析操作，无需了解底层的 MapReduce。 3. **Hive Metastore**: 存储元数据（如表结构、分区信息...
java.lang.IllegalArgumentException: java.net.UnknownHostException:XXX 已解决
Han_Lin-的博客
07-18 801
HDFS和Hive安装出现 unknownHostException
java.lang.IllegalArgumentException: java.net.UnknownHostException: user 错误解决
热门推荐
heming621的专栏
11-24 2万+
在spark-shell环境运行官网实例，每次涉及action操作，总出现错误： java.lang.IllegalArgumentException: java.net.UnknownHostException: user 有的说修改hosts、有的说将$HADOOP_HOME/etc/hadoop下面的hdfs-site.xml和core-site.xml拷贝到$SPA
cdh5.7 做完HA后hive 查询出现异常： expected: hdfs://nameservice
weixin_30951231的博客
08-09 1072
异常信息如下： select * from b_pt_pr_customer_address_info limit 19; FAILED: SemanticException Unable to determine if hdfs://nodexx:8020/user/hive/warehouse/ss_aa_bb_info is encrypted: java.lang.IllegalA...
hive日志位置（日志定位報錯:Failed with exception Unable to move sourcehdfs
m0_51040382的博客
08-08 813
Hive中的日志分為兩種 1. 系統日志，記錄了hive的運行情況，錯誤狀況。 2. Job 日志，記錄了Hive 中job的執行的歷史過程。 日志查看方法 1，在本地運行機器上 hive日志存儲位置在本機上，不是hadoop上： 在hive/conf/ hive-log4j.properties 文件中記錄， 該文件如果沒有，就是使用默認，默認的存儲情況： hive.root.logger=WARN,DRFA hive.log.dir=/tmp
hive日志位置（日志定位报错:Failed with exception Unable to move sourcehdfs://namenode/tmp/hive-pmp_bi/h）...
weixin_30563319的博客
12-17 886
Hive中的日志分为两种 1. 系统日志，记录了hive的运行情况，错误状况。 2. Job 日志，记录了Hive 中job的执行的历史过程。 日志查看方法 1，在本地运行机器上 hive日志存储位置在本机上，不是hadoop上： 在hive/conf/ hive-log4j.properties 文件中记录， 该文件如果没有，就是使用默认，默认的存储...
hive的load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move sour
weixin_49114503的博客
12-11 755
hive load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move source hdfs://nameservice1/tmp/logs to destination
记一次CDH集群迁移产生的问题——HIVE
fox_233的博客
12-06 277
1. metadata.SessionHiveMetaStoreClient；2. MapReduce任务卡住
hive查询写文件报错Failed with exception Unable to move source hdfs:xx to destination xxx
bottle123的专栏
11-24 1万+
今天用hive查询数据并导出到某个文件夹的时候，报错Failed with exception Unable to move source hdfs:xx to destination xxx 查看hive的log，如下 解决方法：$HADOOP_HOME/share/hadoop/tools/lib/hadoop-distcp-2.6.0.jar放入hive的lib目录
FAILED: SemanticException Unable to determine if hdfs://hadoop100:8020/user/hive/warehouse/test is encrypted:
03-31
As an AI language model, I am unable to determine the exact cause of this error without more context. However, this error message suggests that there may be an issue with determining whether a particular HDFS directory is encrypted or not. One possible solution to this error could involve checking the encryption settings for the HDFS directory in question and ensuring that they are correctly configured. Additionally, checking the permissions and ownership of the directory may also help to resolve this issue.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值