配置了hive on spark 模式以后，hive不能进行创建表等操作

最新推荐文章于 2024-07-17 17:54:43 发布
最新推荐文章于 2024-07-17 17:54:43 发布
阅读量144 收藏
点赞数
文章标签： hive spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54251487/article/details/130227717
版权

在配置 hive on spark 之前，hive是正常使用的。

问题在于：

   配置hive on spark时，有一步是将编译好的 spark-2.4.5-bin-without-hive 中的jars目录下的 

  scala-library-2.11.12.jar、spark-core_2.11-2.4.5.jar、spark-network-common_2.11-2.4.5.jar

  三个jar包以软连接的形式指向 hive 的 lib 目录下

如果是以这种形式操作出现 hive 不能正常使用的

  建议：

  用 scp 的方式取代软链接（操作前记得删除 hive/lib 目录下的 上述三个jar包）

仅供参考，可能有用！！！！！！！！！！

别问，问也不会
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hive on spark 遇到的坑
沈颖的家
07-06 8960
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。 先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 先看官网的资源Hive on Spark: Getting Started 要想在Hive中使
配置hive on spark后启动报错
newhandnew413的博客
08-14 1727
因为hive底层用的执行引擎是MapReduce，所以导致了运行起来非常慢，所以我们要更换执行引擎，就有了hive on spark，基于hive的基础上将执行引擎换成spark 版本：hive 3.1.2 spark3.0.0 需要配置的信息 在spark的配置文件spark-defaults.conf中 spark.master yarn spark.eventLog.enabled true spark.e
记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
热门推荐
FunnyPrince_的博客
10-05 1万+
问题描述： 在部署hive on spark，测试时报错，执行建表操作成功，但是插入insert出现以下错误： Failed to execute spark task, with exception ‘org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44)’ FAILED: Execution
hive on spark hql 插入数据报错 Failed to create Spark client for Spark session Error code 30041
想练武，就得下功夫
07-29 6757
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 50cec71c-2636-4d99-8de2-a580ae3f1c58)' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.
hive on spark 执行失败
qq_39035267的博客
08-30 2064
hive on spark执行报错
sparkSQL连接hive失败案例和解决办法
qq_46183404的博客
10-05 2992
sparkSQL连接hive失败案例和解决办法
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
Hive on Spark源码分析DOC
12-18
本文将对 Hive on Spark 的源码进行深入分析，涵盖其基本原理、运行模式、Hive 解析 HQL、Spark 上下文创建、任务执行等方面。 1. 运行模式 Hive on Spark 支持两种运行模式：本地（LOCAL）和远程（REMOTE）。当...
大数据Spark纯净版安装包，用于快速集成Hive on Spark
03-26
Spark纯净版安装包是一个用于安装Apache Spark的软件包，该软件包提供了Spark的基本功能和组件，但不包含任何额外的扩展或依赖项。纯净版安装包旨在提供一个轻量级、简单易用的Spark安装选项，适用于用户希望快速...
Spark不能使用hive自定义函数.doc
03-06
Spark不能使用hive自定义函数
Hive on Spark实施笔记1
08-08
安装完成后，需要对Spark进行配置。编辑`conf/spark-env.sh`、`conf/spark-defaults.conf`、`conf/slaves`和`conf/log4j.properties`文件。在`slaves`文件中列出所有Spark集群的worker节点。通过`log4j.properties`...
hive-on-spark常见问题说明
weixin_72993139的博客
08-10 1622
hive-on-spark问题解析
hive on spark向数据库中插入数据的时候报错
weixin_44063328的博客
05-05 2465
问题描述 搭建了hive on spark集群，并且已有数据库，向数据库中插入数据的时候报错。 create table student(id int, name string); insert into table student values(1002,‘lisi’); hive> insert into student values(1002,'lisi'); Query ID = atguigu_20220505185820_0f520b40-7a94-4485-b5d1-3d85ec50ad
spark创建hive外部表失败
liminghui4321的博客
12-06 2191
问题1：spark版本问题 一般碰到结尾为V，很可能是版本问题 <spark.version>2.4.0</spark.version> 问题2：一直报库不存在 org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'user_profile0224' not found; 解决办法： a.检查hadooponwindows-master环境变量 b.增加配置 .se.
Hive常用内置函数合集
zjy123078_zjy的博客
07-14 794
Hive常用函数合集
Spring boot 2.0 升级到 3.3.1 的相关问题 （二）
飞一站的博客
07-15 355
解决Spring boot 2.0 升级到 3.0 版本的的自定义错误页面和自定义starter的升级问题
数仓工具—Hive语法之宏(Macro)
07-15 3375
Hive中的宏是一组SQL语句，它们被存储并通过调用宏函数名称来执行。宏在当前会话期间存在。宏是临时的，如果你想拥有永久性的宏，最好创建用户定义的函数并在Hive中注册。在关系数据库管理系统（RDBMS）中，宏存储在数据字典中。Hive宏与关系型数据库中的宏略有不同。在我的其他文章中，我们讨论了如何使用用户定义的函数检查一个字符串是否为数字。然而，你也可以通过创建Hive宏来实现相同的功能。请注意，错误是因为参数’inputString’中的大写’S’以及表达式中的大写。，如何使用它们，以及一些宏的示例。
关于HDFS、Hive和Iceberg
最新发布
qq_36634055的博客
07-17 295
想象一下，你有一本厚厚的电话簿（Hive），里面记录了所有人的联系信息。所以，尽管Hive已经是一个非常有用的“电话簿”，但在数据量庞大且需要频繁更新和查询的情况下，引入Iceberg就像请了一位助手，它能帮助你更高效、更安全地管理数据，同时提供了一些Hive本身不具备的高级功能。总结一下，HDFS是数据的实际存储场所，提供了强大的数据存储和访问能力，而Hive则是在HDFS之上的一层抽象，它让数据看起来更像是数据库中的表，提供了SQL-like的查询语言，使得数据的处理和分析更加直观和便捷。
数仓工具—Hive语法之排除特定列
07-14 3979
Apache Hive是一个基于Hadoop HDFS的数据仓库框架，用于存储和分析大量数据。Apache Hive支持大多数关系数据库功能，如对大型表进行分区和根据分区列存储值。现在，问题是如何从SELECT查询结果中排除Hive分区列？有一种方法可以用来排除分区列。这个在我们需要表中大量列的时候，例如一个表有100个列，我们需要其中99个，其中一个不要。添加下面的配置到 ‘hive-site.xml’ 文件，或者可以在命令行set。现在我们就可以通过下面的方式排除。在本文中，我们将检查。
配置hive on spark有什么模式
05-24
在Hive on Spark中，有两种模式可以配置： 1. Spark作为Hive的执行引擎，也称为“Spark Execution Engine”模式。在该模式下，Hive查询将由Spark执行。这个模式的优点是可以利用Spark的内存计算能力来加速Hive查询...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值