Multiple sources found for parquet 错误解决

gegeyanxin

已于 2022-10-11 17:38:57 修改

阅读量1.7k

点赞数

分类专栏：工具 Hadoop问题解决 Spark 文章标签： spark apache sql

于 2022-09-20 20:39:01 首次发布

本文链接：https://blog.csdn.net/gegeyanxin/article/details/126960265

版权

工具同时被 3 个专栏收录

12 篇文章

订阅专栏

Hadoop问题解决

11 篇文章

订阅专栏

Spark

6 篇文章

订阅专栏

本文介绍了解决Spark在读取Parquet文件时遇到的多重数据源冲突问题的方法。通过明确指定完全限定的类名，可以成功避免冲突并完成数据读取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark读取parquet程序报错：

org.apache.spark.sql.AnalysisException: Multiple sources found for parquet (org.apache.spark.sql.execution.datasources.v2.parquet.ParquetDataSourceV2, org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat), please specify the fully qualified class name.

at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:720)

at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSourceV2(DataSource.scala:746)

at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:265)

at org.apache.spark.sql.DataFrameReader.parquet(DataFrameReader.scala:833)

at org.apache.spark.sql.DataFrameReader.parquet(DataFrameReader.scala:805)

解决方法其实都在后面写着了

”please specify the fully qualified class name."

也就是在读取的时候指定类就好

报冲突的代码

 val res = spark.read.parquet(path.format(date))

改后成功的代码

val sourceData = spark.read
      .format("org.apache.spark.sql.execution.datasources.v2.parquet.ParquetDataSourceV2")
      .load(dataPath+date)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

gegeyanxin

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Mac 安装 ClickHouse 报错： Mac 10.15.4: Cannot find objcopy

AI天才研究院

06-18

1万+

Solution run the command below: $ brew install binutils Updating Homebrew... ==> Auto-updated Homebrew! Updated 1 tap (homebrew/cask). ==> Updated Casks Updated 2 casks. ==> Downloading http...

SPARK 2.2.1 SQL处理各种数据源的案例与解读

段智华的博客

02-17

6049

SPARK 2.2.1 SQL 处理各种数据源的案例与解读由于集团下的各个子公司在数据集成之前，使用数据有多种格式，因此需要支持多种数据来源的处理，将各个子公司的不同数据源集成到集团统一的大数据平台下。Spark SQL支持从各种数据源加载文件构建DataFrame/DataSet，以及将DataFrame/DataSet 保存到各种数据源中。在给出数据源实战案例之前，先对Spark SQL的数...

参与评论您还未登录，请先登录后发表或查看评论

Spark2.3.1写parquet文件报错

qq_39315954的博客

07-31

5988

scala> val peopleDF = spark.read.json("file:///usr/local/spark/examples/src/main/resources/people.json") peopleDF: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala> ...

spark databricks 读入csv数据报错：Multiple sources found for csv

HelloJFS的博客

12-12

3595

解决方法参考地址spark.read .format("org.apache.spark.sql.execution.datasources.csv.CSVFileFormat") .format("csv") .option("header", "true") // Use first line of all files as header .option("inferSchema", "fals

多个数据源（multiple data sources）

weixin_30273175的博客

02-27

454

tip：在需要事务的地方，指定“限定符”。如果不指定“限定符”，将默认使用“transationManager”命名对应的事务管理器。源码：https://gitee.com/SevenDayBabyface/Proxy.git 参考资料： SpringBoot非官方教程 | 第五篇：springboot整合 beatlsql Spring Boot多数据源...

multi-source 领域泛化总结

u011195063的博客

08-19

1091

1、 Boosting for transfer learning with multiple sources 1、 MUDA AAAI 19 的multi-source 论文论文大概分为两步（适合心情好的时候跑着玩一玩）：第一步每个source到target的Maximum Mean Discrepancy (MMD)距离尽量小，同时source自己的分类的交叉熵尽量小。这样过每个source 映射到target, 然后同时每个source 有自己的特征提取器和分类器。第二步它认..

关于spark以parquet写入时的小问题

goodstudy168的专栏

10-17

2863

今天使用spark对一个dataframe中的数据以某一个为主键做groupby进行求和，数据类似如下： scala> userDF.show +---------+--------+ | userid | count | +--------+---------+ | 11111111| 102| | 2222222| 97| | 3333333| 10| | 1111111...

Multiple sources found for csv

书生的日常

08-21

1403

源代码： //配置驱动器 val sparkConf = new SparkConf().setAppName("test").setMaster("local[2]") val spark = SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate() //配置标题结构 val inputRddStruct = StructType(List( StructField("DEST_COUNTRY_NAM

29、Spark写数据到Hudi时，同步hive表的一些坑

热门推荐

u011415782的专栏

11-06

2万+

首先，官方文档所给出的展示如下：监听 radio单选但是在搜索经验的时候，发现很多网友给出的代码有缺失，不适合小白开发所以，小小整理一番，欢迎指摘 … 操作步骤：首先 html 设计效果如下：对应的源码为： <div class="layui-form-item"> <label class="layui-form-label">主题类型...

SparkSQL使用MySQL中的数据进行写操作时出现的错误：无法解析 org.apache.spark.sql.AnalysisException

CqcVue的博客

10-16

1332

在使用SparkSQL时，当尝试使用MySQL中的数据进行写操作时，可能会遇到 org.apache.spark.sql.AnalysisException 无法解析的错误。在使用SparkSQL连接MySQL之前，首先确保已正确配置数据库连接参数，包括主机名、端口、用户名和密码等。当写入数据时，SparkSQL会根据表的定义和给定的数据进行类型匹配。请仔细检查在写操作中使用的表名和列名的拼写是否正确。请根据实际情况修改上述代码中的连接参数、数据路径、表名等信息，并确保已正确配置MySQL数据库。

spark对接hudi遇到的坑

啥也不会的博客

12-06

5891

1.spark-sql读写MOR 的hudi表 spark版本：2.4.3 hudi版本：0.9.0 按照官网文档可正常独写cow表，但读写mor时报错： Caused by: org.apache.hudi.exception.HoodieException: Unable to load class at org.apache.hudi.common.util.ReflectionUtils.getClass(ReflectionUtils.java:57) at org.apache..

idea项目spark集成hive，出现版本错误问题

qq_45626867的博客

01-09

518

spark集成hive

IDEA 上使用 Scala开发Spark并操作Hudi报错为：org.apache.spark.sql.adapter.Spark3_1Adapter

2301_76509964的博客

11-29

1272

该错误由Spark与Hudi版本不兼容或IDEA中的Hudi依赖缺失引起。Hudi 0.10.x支持Spark 3.0.x,而Hudi 0.11.x支持Spark 3.1.x等。首先,检查pom.xml是否正确添加了与Spark版本兼容的Hudi依赖,例如hudi-spark3.1-bundle_2.12。然后,检查服务器上是否存在正确版本的Hudi JAR包,如无,需要从Maven仓库下载并上传至Spark的jars目录。若在服务器运行,确保在spark-submit命令中指定了Hudi的JAR路径。

【spark】异常：org.apache.spark.sql.AnalysisException: resolved attribute(s)

lsr40的博客

04-08

2万+

本人菜鸟一只，天天写bug，今天又来记录一个解决了的bug！业务逻辑： 1、从一张行为表中，抽取有特点行为的用户 2、将这部分用户id拿到之后保存 3、然后再将这部分用户id关联回行为表，获得这部分用户的所有行为具体代码我就不贴出来了，应该比较简单吧，就是读取行为表，过滤特定的行为，然后将这部分数据去重就得到特定行为的用户，最后把这些用户关联回行为表，就拿到了这部分特定用户的行为 ...

SparkSQL之DataSource

liweihope的博客

07-05

784

文章目录Parquet 文件加载Parquet文件Partition Discovery 分区探测Schema 合并ORC文件Hive表JDBC 到其它数据库TroubleshootingPerformance Tuning 你用MapReduce、Spark、Hive去处理源数据，处理之后输出出来。输入和输出的数据文件的格式可能有很多种，比如文本、json、ORC、Parquet格式的文件等。另...

CDH 5.16.2 异常踩坑

学无止境，永不停歇

05-07

1579

20/05/05 23:52:24 WARN CorruptStatistics: Ignoring statistics because created_by could not be parsed (see PARQUET-251): parquet-mr org.apache.parquet.VersionParser$VersionParseException: Could not par...

“找不到或加载主类”是什么意思？

w36680130的博客

04-01

2977

A common problem that new Java developers experience is that their programs fail to run with the er

基于Spark SQL 读写Oracle 的简单案例分析常见问题

harli的专栏

04-28

2万+

1 概述本文主要内容包含Spark SQL读写Oracle表数据的简单案例，并针对案例中比较常见的几个问题给出解决方法。最后从常见的java.lang.ClassNotFoundException（无法找到驱动类）的异常问题出发，分析相关的几种解决方法，以及各个解决方法之间的异同点。 2 案例中比较常见问题及其解决方法 2.1 启动首

hive怎么查找出错误的parquet文件

04-12

对于查找错误的Parquet文件，可以通过以下步骤进行： 1. 在Hive中执行“SHOW CREATE TABLE table_name”命令，以获取表的元数据信息。 2. 在元数据信息中查找Parquet文件存储的路径。 3. 使用Hadoop命令“hadoop fs -ls parquet_file_path”查找出错的Parquet文件。 4. 删除出错的Parquet文件并通过数据恢复工具将数据重新加载到表中。希望这些步骤能够帮助您解决问题。