记一次CDH集群迁移产生的问题——HIVE

最新推荐文章于 2024-10-01 18:52:18 发布

fox_初始化

最新推荐文章于 2024-10-01 18:52:18 发布

阅读量294

点赞数

文章标签： hive hadoop 数据仓库

本文链接：https://blog.csdn.net/fox_233/article/details/134836391

版权

背景

生产环境CDH集群迁移到新的环境，迁移之后使用Hive Client方执行任务一直失败。

问题1：metadata.SessionHiveMetaStoreClient

产生报错：

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

看起来是hive元数据存储有问题，所以查看了一下配置 hive-site.xml

发现没有配置用户名和密码，于是增加配置

在机器上测试执行 hive -e "show databases;"依然报一样的错。于是查看与MetaStore其他有关的配置，突然发现hive.metastore.uris配置的是迁移前的集群配置的地址，于是修改并重启。

这时候执行show databases；可以成功。

问题2：MapReduce任务卡住

本来以为没问题了，这时候，执行insert任务的时候，一直卡住

看了一下执行日志

发现没有执行reduce任务，于是再次查看配置，怀疑是分配相关的还有问题，果然就看到hive.zookeeper.quorum配置还是用的迁移前的地址....于是修改并重启。

重新执行insert代码可以正常执行了

总结

迁移集群一定要检查好配置，尤其是复制黏贴来的！！！

本次相关的配置修改：

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fox_初始化

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

二、Java提升之异常源码剖析

玻璃汽水的博客

08-07

2335

理解： 1）在Java语言中，Throwable类是所有errors和exceptions的superclass。 2）只有

CDH开启sentry后如何同步跨集群hive数据迁移

蘑菇丁的专栏

07-11

1227

1. 不同集群直接hive迁移由于集群里设置了dfs.permissions=true 的因此hdfs上的文件访问须hdfs用户才可以操作被迁移的集群是hadoop用户，因此先对现有的目录设在acl权限访问/hive ①　新集群操作导数据之先把另一个集群的hadoop用户授予本集群的hdfs访问权限。 hdfs dfs -setfacl -R -muser:ha...

参与评论您还未登录，请先登录后发表或查看评论

CDH迁移 | CDH/HDP迁移之路

shaoqigulang的博客

04-05

894

哪些用户需要迁移原社区版用户社区版不再更新 Cloudera(Cloudera 和Hortonworks 合并后)所有产品不再提供社区版，用户无法获取新的功能。社区版不再免费 2021年1月31日开始，所有Cloudera软件都需要有效的订阅，且订阅费昂贵（50个节点，一年订阅费50万美元）。原企业版用户企业版不再更新 Cloudera 和Hortonworks 合并后推出了新一代大数据平台 CDP，CDH 6和HDP 3将是CDH和HDP的最后企业版本，用户无法继续获取新的功能和

es Snapshot and Restore

u011119684的博客

01-07

557

Overview 整理一下es的snapshot功能，分两块，一块是本地磁盘disk存储，一块是远程hdfs作存储，目录如下， 0. Overview 1. Version 2. Install plugin 3. Disk - create repo - create snapshot - restore - setp 4. HDFS - create ...

hive日志位置（日志定位报错:Failed with exception Unable to move sourcehdfs://namenode/tmp/hive-pmp_bi/h）...

weixin_30563319的博客

12-17

900

Hive中的日志分为两种 1. 系统日志，记录了hive的运行情况，错误状况。 2. Job 日志，记录了Hive 中job的执行的历史过程。日志查看方法 1，在本地运行机器上 hive日志存储位置在本机上，不是hadoop上：在hive/conf/ hive-log4j.properties 文件中记录，该文件如果没有，就是使用默认，默认的存储...

hive查询写文件报错Failed with exception Unable to move source hdfs:xx to destination xxx

热门推荐

bottle123的专栏

11-24

1万+

今天用hive查询数据并导出到某个文件夹的时候，报错Failed with exception Unable to move source hdfs:xx to destination xxx 查看hive的log，如下解决方法：$HADOOP_HOME/share/hadoop/tools/lib/hadoop-distcp-2.6.0.jar放入hive的lib目录

Hive跨集群和版本迁移

L, there!

07-05

1387

公司重新搭建CDH6.0.1，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。步骤：目录步骤： 1. 迁移Hive数据和MySQL中的matastore 1. 迁移Hive数据至新集群，在新集群上执行 2. 在源集群上MySQL导出Hive metastore 3. 在新集群使用Hive用户导入metastore 4. 升级Hive库 5. 修改meta...

大数据平台CDH环境迁移手册

zhouhy1101的专栏

02-27

1577

文章目录1 前言2 硬件检测与配置优化2.1 磁盘挂载2.1.1 磁盘大小低于2T2.1.2 磁盘大小大于2T2.2 内存查看2.3 cpu检查2.4 网卡检查2.5 ntp同步3 os参数优化4 CDH参数优化4.1 hdfs4.2 yarn5 平台迁移模拟5.1 停止5.2 修改配置5.3 启动cdh6 CDH平台扩容7 服务启停8 注意点9 现场遇到的问题与解决10 帮助脚本 1 前言最近接到了一个工作，将公司线上生产环境的6台安装了CDH以及大数据平台的服务器迁移到客户现场。服务器中有200+T

hive-1.1.0-cdh5.14.2.tar.gz和mysql-connector-java-5.1.38.jar连接包

06-26

标题中的“hive-1.1.0-cdh5.14.2.tar.gz”是一个针对Apache Hive的压缩包，这是Hadoop生态系统中的一个数据仓库工具，用于查询和管理大规模存储在Hadoop分布式文件系统（HDFS）上的结构化数据。CDH是Cloudera ...

CDH迁移 | 教你三步实现CDH迁移到星环TDH

资讯汇

04-01

1178

Transwarp Data Hub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。8种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。星环一站式多模型大数据基础平台TDH架构图 TDH能够存储PB 级别的海量数据，同时能够提供高性能的查询搜索、实时分析、统计分析、预测性分

hive日志位置（日志定位報錯:Failed with exception Unable to move sourcehdfs

m0_51040382的博客

08-08

828

Hive中的日志分為兩種 1. 系統日志，記錄了hive的運行情況，錯誤狀況。 2. Job 日志，記錄了Hive 中job的執行的歷史過程。日志查看方法 1，在本地運行機器上 hive日志存儲位置在本機上，不是hadoop上：在hive/conf/ hive-log4j.properties 文件中記錄，該文件如果沒有，就是使用默認，默認的存儲情況： hive.root.logger=WARN,DRFA hive.log.dir=/tmp

hive存储：FAILED: SemanticException Unable to determine if hdfs://nameservice1/

会飞的鱼

08-13

2872

用mysql作为hive的元数据存储数据库，要注意，在mysql中hive的存储路径问题 hive> select * from qq; 报错： FAILED: SemanticException Unable to determine if hdfs://nameservice1/apps/hive/warehouse/external/qq is encrypted: java.la...

hive的load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move sour

weixin_49114503的博客

12-11

797

hive load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move source hdfs://nameservice1/tmp/logs to destination

Hive报错：Failed with exception Unable to move source file:******* to destination hdfs:******

qq_51741039的博客

04-27

5854

Hive报错：Failed with exception Unable to move source file:******* to destination hdfs:****** 报错截图：不磨叽，直接上我的处理方法处理方法：很可能是防火墙没关（每台机子都要关） systemctl start firewalld systemctl stop firewalld 解题思路： 1.不能够移动源文件，可能出现用户权限不够的情况 sudo chmod -R 777 root/1.tx

hive moving data报错，unable to move source...，yarn显示任务执行成功

涤生大数据

11-15

6572

1.报错情况有个小伙伴hive任务报错，moving data时，报错如下 Failded with exception:unable to move source hdfs://........... 2.问题排查这种情况一般跟任务没有关系了，说明hive任务已经执行成功了。因为默认hive，spark任务数据先写到一个临时目录，等各个节点的数据都写完整以后，校验没问题了，在move到表的hdfs路径下（所谓move其实就是重命令），这个过程报错，说明跟hdfs有关系，跟yarn，hiv.

cdh5.7 做完HA后hive 查询出现异常： expected: hdfs://nameservice

weixin_30951231的博客

08-09

1091

异常信息如下： select * from b_pt_pr_customer_address_info limit 19; FAILED: SemanticException Unable to determine if hdfs://nodexx:8020/user/hive/warehouse/ss_aa_bb_info is encrypted: java.lang.IllegalA...

SonarQube报java.lang.OutOfMemoryError

freflying1119的博客

01-13

1953

Jenkins 执行sonar扫描，job运行成功，但是查看报告显示失败，报OutOfMemoryError。

基于Hive和Hadoop的哔哩哔哩网站分析系统

图南的博客

09-27

737

本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。