spark 应用程序访问hive异常问题

最新推荐文章于 2021-01-29 17:04:47 发布
最新推荐文章于 2021-01-29 17:04:47 发布
阅读量717 收藏
点赞数
文章标签： spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljw714/article/details/89954584
版权
在本地开发Spark应用程序时遇到访问Hive异常，由于/hive目录权限不足导致报错。错误源于默认的HDFS路径权限不匹配。为解决此问题，需要修改HDFS上/hive目录的权限，使其满足writableHDFSDirPermission的要求。通过设置正确权限后，重新启动Spark程序，问题得到解决。
摘要由CSDN通过智能技术生成

开发spark应用程序在本地启动时，报异常

Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
    at org.apache.spark.sql.hive.client.ClientWrapper.<init>(ClientWrapper.scala:204)
    at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:238)
    at org.apache.spark.sql.hive.HiveContext.executionHive$lzycompute(HiveContext.scala:218)
    at org.apache.spark.sql.hive.HiveContext.executionHive(HiveContext.scala:208)
    at org.apache.spark.sql.hive.HiveContext.functionRegistry$lzycompute(HiveContext.scala:462)
    at org.apache.spark.sql.hive.HiveContext.functionRegistry(HiveContext.scala:461)
    at org.apache.spark.sql.UDFRegistration.<init>(UDFRegistration.scala:40)

最低0.47元/天 解锁文章
暴躁哥
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive jdbc权限不够_如何解决spark hive 权限不够的问题
weixin_39988677的博客
12-21 515
spark操作hive出现异常如下：19/09/16 09:58:27 INFO metastore: Connected to metastore.19/09/16 09:58:28 INFO SessionState: Created HDFS directory: /tmp/hive/root/9ad612d6-a6a1-4f80-be2c-fdc87e0a2a0c19/09/16 09:5...
spark 操作Hive时遇到的问题
weixin_30511039的博客
10-14 381
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).17/10/14 17:34:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform......
Spark 访问 Hive 执行 SQL
chuhui1765的博客
01-20 118
最近在使用 Spark 结合 Hive 来执行查询操作。。跑了一个demo 出现如下错误： 01-20 14:49:41 [INFO] [storage.BlockManagerMaster(59)] BlockManagerMaster stopped 01-20 ...
ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver解决办法
mnasd的博客
05-21 5132
我们通过源码编译的spark-2.3.0来启动spark-sql进行sql操作，结果出现如下错误：Spark assembly has been built with Hive, including Datanucleus jars on classpath java.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftse...
notebook 运行 pyspark 报错 'org.apache.spark.sql.hive.HiveSessionStateBuilder'
十三
03-27 2229
Windows10 spark 2.2.3 Hadoop 2.7.6 python 3 当以pyspark --master local[2]或者pyspark启动时，会在运行 from pyspark.sql.session import SparkSession spark= SparkSession.builder.appName("your-app-name").getOrCreate()...
用spark操作hive实现动态传参，出现org.apache.spark.sql.hive.HiveSessionState错误解决方式
weixin_43365615的博客
01-29 923
通过java代码，使用spark操作hive步骤（错误解决方式在文末）： 1、由于hive是依赖于hadoop的，所以需要启动hadoop，切换到hadoop的sbin目录下，输入以下指令所有： ./start-all.sh 2、由于spark操作hive时，实际上只是用了hive中的元数据，所以不需要启动hive在，只需要在根目录下输入以下指令： hive --service metastore 3、由于是在本地通过java操作hive，所以两者之间需要建立连接，可以将hive中的hive-site.
Hue 常见问题解决方案，大数据平台的hue/hive常见问题总结 免费下载
03-09
Hue是Cloudera公司开发的一款开源Web应用程序，它提供了一个统一的界面，让用户无需编写复杂的命令行脚本就能执行Hadoop任务。Hue的核心组件包括： 1. **HDFS Browser**：用于浏览和管理Hadoop分布式文件系统中的...
hive-jdbc.7z
07-18
Hive JDBC是Apache Hive项目的一部分，它提供了一个Java数据库连接（JDBC）接口，使得其他应用程序，如Python、Java或任何支持JDBC的工具，能够与Hive进行交互。这个"hive-jdbc.7z"压缩包包含了Hive JDBC的Uber版本...
HIVE数据库解析vc编写
01-25
6. **错误处理和调试**：在VC中处理Hive的错误和异常是必不可少的，需要编写合适的错误处理代码，以便在出现网络问题、语法错误或数据不匹配时能够适当地反馈和处理。 7. **性能优化**：考虑到大数据处理的性能需求...
spark-with-python-course-master.zip_Python+Spark_Spark!_python s
09-20
10. **分布式调试与监控**：学习如何在集群环境中调试PySpark程序，以及使用Spark UI和YARN等工具监控Spark应用的运行状态。 通过以上内容的学习，你将具备使用Python和Spark进行大数据处理的能力，无论是在学术...
大数据安全管控系统解决方案.pdf
10-14
授权平台网关HIVE代理HBASE代理HDFS代理JOB代理Spark代理Storm代理授权信息同步大数据平台维护人员识别数据级别信息同步鉴权基于角色、等级的鉴权123数据授权模型数据等级访问授权先行者黑白名单控制数据提供者数据...
Spark读取不了本地文件&&Spark默认读取HDFS文件系统
Solar's Blog
01-23 6764
问题描述 In [10]: inputFile = "file:///home/learning-spark/files/ham.txt" In [11]: input = hiveCtx.read.json(inputFile) 19/01/23 17:12:51 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 3.0 (TID 21...
Spark跟hive整合之后,启动spark shell失败的解决办法
ღ
04-02 495
Spark跟hive整合之后,启动spark shell失败 解决方法:向spark安装目录下的jars目录里拷贝mysql的jar包mysql-connector-java-5.1.27-bin.jar 想给大家上传jar包,但是一直提交不了,没有上传过资料,也不知道为什么???, [root@hadoop101 bin]# ./spark-shell Using Spark's...
Spark sql 集成 Hive ， 报的错集
qqjjjaa11的专栏
03-06 625
安装好hive和spark后 配置hive和spark hive： hive-env.sh export HADOOP_HOME=/opt/modules/hadoop export HIVE_CONF_DIR=/opt/modules/hive-1.2.2/conf export HBASE_HOME=/opt/modules/hbase-1.2.1 export HIVE_...
win下Sparksql 无法获取文件权限问题
weixin_45682234的博客
06-29 844
Caused by: java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive Caused by: java.lang.RuntimeException: Error while running command to get file permissi
8.Spark SQL：Hive数据源实战
认知 行动 坚持
10-16 1061
Hive数据源实战 Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。 使用Hiv
sparkSQL 集成hive异常问题解决
linux_ja的专栏
06-15 3617
1、报：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 是由于元数据默认到derby中找，所以提供mysql的 解决：在spar
Caused by:java.lang.RuntimeException:The root scratch dir:/tmp/hive on HDFS should be writable.
zlpzlr的博客
01-09 4126
解决办法： hadoop fs -rm -r /tmp/hive;   rm -rf /tmp/hive Only temporary files are kept in this location. No problem even if we delete this, will be created when required with proper permissions
进入hive时线程“main”java.lang的异常权限不够
wmz960708581的博客
09-13 862
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------ 线程“main”java.lang的异常。R...
spark应用程序使用hive
最新发布
06-10
可以使用Spark集成Hive来运行Hive查询和操作Hive表。具体来说，可以通过以下步骤进行操作： 1. 在Spark应用程序中添加Hive支持，可以通过以下方式实现： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder() .appName("Spark with Hive") .enableHiveSupport() .getOrCreate() ``` 2. 在应用程序中使用Hive表，可以通过以下步骤实现： ```scala spark.sql("CREATE TABLE IF NOT EXISTS myTable (key INT, value STRING)") spark.sql("INSERT INTO myTable VALUES (1, 'value1'), (2, 'value2')") val df = spark.sql("SELECT * FROM myTable") df.show() ``` 在这个例子中，我们创建了一个名为“myTable”的Hive表，并向其中插入了两个行。然后我们执行了一个查询，并将结果作为DataFrame显示出来。 需要注意的是，为了使用Hive，您需要在Spark的classpath中包含Hive的相关库。如果您使用的是Spark Standalone或YARN模式，可以通过将hive-site.xml文件放置在Spark配置目录中来配置Hive。如果您使用的是其他集群管理工具（如Apache Mesos或Amazon EMR），则需要参考相关文档进行配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值