spark sql 查询表时报错：。。。 not a file

最新推荐文章于 2022-11-20 21:16:55 发布
最新推荐文章于 2022-11-20 21:16:55 发布
阅读量1.1k 收藏 2
点赞数 2
分类专栏： spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lbg_007/article/details/107078012
版权

现象：

spark sql 查询表时报错：。。。 not a file

解决：

  1. 如果是在终端启动 spark shell，那么就执行 
    spark-sql --conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true --conf spark.hive.mapred.supports.subdirectories=true
  2. 如果是代码，那么就设置下边两个参数 
      .set("spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive", "true")
  .set("spark.hive.mapred.supports.subdirectories", "true")
rookie_bigdata
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive SQL语法报错 及相应解决方法
大数据开发实践者
02-21 1万+
Hive SQL语法与经常用的mysql语法具有一定差异性，按照写mysql的习惯写出的sql经常报错，且报错很难看出问题原因，因此在此记录出现问题的现象和解决方式 Error: Error while compiling statement: FAILED: ParseException line 3:2 cannot recognize input near '(' 'SELECT' 'a'...
sparksql 读取hive表子目录问题排查
weixin_38148824的博客
03-13 1922
sparksql读取hive表子目录问题
解决Spark查询Hive表扫描不到HIVE_UNION_SUBDIR的问题
私奔在线
03-29 4760
背景 　　使用Hive的insert overwrite/into select ... union all生成的Hive表数据时，会在原本的数据表目录下生成多个子目录（HIVE_UNION_SUBDIR_1、HIVE_UNION_SUBDIR_2），以存放数据文件（正常情况下数据文件会直接存放在数据表目录下）。 　　这时，如果使用spark-sql去查询该数据表的时候，会报 Not a file 的异常： Cause by: java.io.IOException: Not a file: hdf
Spark SQL之Caused by: java.io.IOException: Not a file
qq_40105563的博客
02-22 2994
一直以来调度任务正常的spark sql任务在执行的时候,突然遇到了错误,核心错误如下: ERROR datasources.FileFormatWriter: Aborting job null. org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree: Caused by: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: e
python 一个.py文件如何调用另一个.py文件中的类和函数
STR_Liang的博客
08-13 9721
在同一个文件夹下 调用函数： A.py文件： def add(x,y): print('和为：%d'%(x+y)) B.py文件： import A A.add(1,2) 或 from A import add add(1,2) 调用类： A.py文件: class A: def __init__(self,xx,yy): self.x=xx self.y=yy def add(self): pr.
Spark SQL.xmind.zip
08-12
Spark SQL是Spark的一个模块，它将SQL查询语言与DataFrame API结合，使得开发者可以使用熟悉的SQL语法进行大数据处理，同时享受Spark的高性能。 Spark SQL支持多种数据源，如HDFS、Cassandra、Hive等，可以读取和...
sql-avro:使用 Spark SQL 读取 Avro 数据的库
07-05
在处理 Avro 数据时，`sql-avro` 库会自动解析 Avro 文件中的模式，并将其映射为 Spark SQL 的表结构。这意味着你可以对 Avro 数据执行 SQL 查询，比如筛选、聚合、连接等操作。同时，`sql-avro` 还支持将 DataFrame...
日志分析Spark SQL 的世界
01-04
Spark SQL集成了SQL查询语言，使得开发人员能够使用SQL或者DataFrame API对数据进行分析，同时也支持Hive的元数据、SQL语法、UDF（用户自定义函数）和Hive表。在这个名为"日志分析Spark SQL的世界"的主题中，我们将...
Apache-Spark：使用Apache Spark SQL操纵三个数据集
02-08
Spark SQL是Apache Spark的一个模块，专门用于处理结构化数据，它将SQL查询语言与Spark的API相结合，使得开发人员能够轻松地在大数据环境中进行数据分析。在这个主题中，我们将深入探讨如何使用Apache Spark SQL来...
spark sql 代码实现
05-05
Spark SQL 是 Apache Spark 的一个模块，它允许开发者使用 SQL 查询数据或者通过 DataFrame 和 Dataset API 进行编程。在 Spark 1.3 版本中，Spark SQL 已经成为了一个核心组件，它提供了与传统 SQL 引擎类似的接口...
执行sparksql时报错，显示查询不到表分区下的子分区
weixin_42320809的博客
08-23 517
报错如图 解决办法： 添加开启文件递归查询的参数 set hive.mapred.supports.subdirectories=true; set mapreduce.input.fileinputformat.input.dir.recursive=true;
186. 部署Hive数据仓库
Kason_iWiki
01-26 356
6. 部署Hive数据仓库 6.1 部署Hive 进入先电大数据平台主界面，点击左侧的动作按钮，添加Hive服务 # mysql -uroot -pbigdata MariaDB [(none)]> create database hive; MariaDB [(none)]> grant all privileges on hive.* to 'hive'@'localh...
HIVE启动错误：The root scratch dir: hdfs://master:8020/user/hive/tmp on HDFS should be writable的详细解决方法。
m0_55969961的博客
11-20 1269
详细步骤 解决：Exception in thread "main" java.lang.RuntimeException: The root scratch dir: hdfs://mast/user/hive/tmp on HDFS should be writable. Current permissions are: rwxr-xr-x
hadoop常见错误(转载)
CoderLife9192的专栏
03-07 3080
hadoop常见异常 错误解决： 1.如果在bin/hadoop dfs -put /home/test-in input该过程中出现"can only be replicated to node 0, instead of 1",解决办法是打开http://localhost:50070/dfshealth.jsp查看，确定了livenode数目为你的机器实际数目时，再进行put（
hive 错误记录
jmydream的专栏
02-01 1042
[hadoop@master ~]$ hive -e "load data inpath '/fenxi_system/cs/20130131/sms_20130131' overwrite into table ccms_stat_opt.s_sms partition(stat_time='2013-01-31')" WARNING: org.apache.hadoop.metrics.jv
spark sql 支持多级目录
遥望......
10-26 2579
当表的分区有子目录时，spark sql默认是不支持的，可以用以下设置: 在hive cli里直接set mapreduce.input.fileinputformat.input.dir.recursive=true;就可以正常使用spark sql引擎 在代码层面可以尝试 .set("spark.hive.mapred.supports.subdirectories","true") .s...
Spark问题和调优
weixin_41347226的博客
06-04 416
1.spark的性能调优问题： 问题1：num-executors，execuor-cores和executor-memory的分配 driver.memory ：driver运行内存，默认值512m，一般2-6G num-executors ：集群中启动的executor总数 executor.memory ：每个executor分配的内存数，默认值512m，一般4-8G executor.cores ：每个executor分配的核心数目 yarn.am.memory ：AppMaster内存，默认值51
spark2跑批File does not existhdfsnameserviceluserxxx
LvJinYang的博客
05-10 630
spark2跑批File does not exist:hdfs://nameservicel/user/xxx/.sparkStaging/aoolication_XXX/spark_conf.zip 解决： spark.yarn.preserve.staging.files=true
cdh5.7 做完HA后hive 查询出现异常： expected: hdfs://nameservice
weixin_30951231的博客
08-09 1072
异常信息如下： select * from b_pt_pr_customer_address_info limit 19; FAILED: SemanticException Unable to determine if hdfs://nodexx:8020/user/hive/warehouse/ss_aa_bb_info is encrypted: java.lang.IllegalA...
spark sql 读取文件,进行sql查询
最新发布
03-16
使用 `createOrReplaceTempView` 将 DataFrame 转换为临时表，然后使用 `spark.sql` 执行 SQL 查询，查询结果将返回一个新的 DataFrame。 以上就是使用 Spark SQL 进行文件读取和 SQL 查询的基本步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值