scala处理数据遇到cannot resolve ‘`goodreads_book_id`‘ given input columns: []；

于 2023-04-20 22:16:02 发布
阅读量1.2k 收藏
点赞数 1
文章标签： 大数据 scala spark java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sukilan/article/details/130277072
版权

我是使用的scala连接mangodb数据库进行数据处理，在其中一部分数据处理时由于数据量大，所以喜欢在后面加上.catch使数据持久化，在对另一段代码中两个三个数据库使用spark.sql进行left join时，对从MongoDB读取的数据进行了再次持久化，这也就导致了出现了如上报错，刚开始在网上疯狂找答案，有说csv文件导入出的错，所以我将它换成了txt文件导入，然并卵，所以我用回了csv，但是我看我前段代码，使用spark.sql并没有事，我就用两段代码比对，发现是我使用了.catch导致输出的数据出问题了

玛卡巴卡和小点点
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spark导出Hive表异常（Java）：cannot resolve ‘`id`‘ given input columns
闲来无聊
08-12 1万+
初次接触到大数据相关的信息，还有点不适应，通过不断搜索和尝试解决了Spark读取Hive表时出现的异常，错误如下： Caused by:java.lang.RuntimeException:org.apache.spark.sql.AnalysisException: cannot resolve '`id`' given input columns:[demo.demo.id,demo.demo.name,demo.demo.birthday]; 'Project ['id,'name,'age] +-
在Spark编程进行指标清洗时出现cannot resolve ‘`consumptionavg`‘ given input columns报错
m0_69035703的博客
06-26 473
ps：开始由于对报错信息阅读能力不足，将上一行信息Truncated the string representation of a plan since it was too large. 错认为报错信息，在程序的spark配置中添加config(“spark.debug.maxToStringFields”, “100”)后未能解决问题。这次的错误不属于技术性错误，而是语法性错误，主要责任在我对spark编程的语法不够熟练，对withcolumn函数和select函数的使用方式不够掌握。
解决Cannot resolve column ‘create_time‘ 问题
神秘人
05-12 1693
前言 这个问题其实我以前也遇到过，但是都没当回事，因为确实也没有影响到功能的实现。今天在提交代码时注意到了这个问题，怕把错误提交到git上，就研究了下。 具体错误出现的位置 这个错误出现在了实体类里，这里声明下我用的是jpa，出错的截图如下： 如何解决 之后选择自己连接的数据库即可不报红。 注：这样解决的前提是已经在idea中连接好了数据库，idea连接数据库的方式，具体可百度非常简单 总结 idea与数据库的连接方式可以直接通过idea去连接，也可以不通过。无论什么方式，都是通过jar形式推到服务器
Spark sql org.apache.spark.sql.AnalysisException: cannot resolve ‘`a.a`‘ given input columns
sinat_34534481的博客
09-15 9644
Spark sql 版本2.3.0，grouping sets之后jion相同表会出现列名不存在的问题。会导致报错 org.apache.spark.sql.AnalysisException: cannot resolve '`a.a`' given input columns: [b.b, b.c, a.a, a.b, a.c]; line 8 pos 29; 或者 org.apache.spark.sql.AnalysisException: Failure when resolving confl
SQL执行顺序
xiaopohai001的专栏
03-19 387
例句： select <select_list> from <left_table> <join_type> JOIN <right_table> on <join_condition> where <where_conditon> g...
基于Scala的spark_1大数据处理作业设计源码
04-11
本源码提供了一个基于Scala的spark_1大数据处理作业设计。项目包含39个文件，其中包括12个XML文件、11个CRC文件、4个out/part-00000文件、4个Scala源文件、2个Markdown文档、2个TXT文件、1个Gitignore文件、1个DAT...
基于Scala的Spark_Core、Spark_SQL和Spark_Streaming设计源码
最新发布
04-12
本项目基于Scala开发，包含148个文件，包括Scala源代码、CRC校验文件、TXT文本文件、以及多个...系统实现了基于Scala的Spark_Core、Spark_SQL和Spark_Streaming功能，界面友好，功能完善，适合用于大数据处理和分析。
scala-java8-compat_2.11-0.7.0-API文档-中文版.zip
06-05
赠送jar包：scala-java8-compat_2.11-0.7.0.jar； 赠送原API文档：scala-java8-compat_2.11-0.7.0-javadoc.jar； 赠送源代码：scala-java8-compat_2.11-0.7.0-sources.jar； 赠送Maven依赖信息文件：scala-java8-...
Scala_IngestionPipeLine:Scala_IngestionPipeLine
04-07
Scala是一种强大的多范式编程语言，它融合了面向对象和函数式编程的特性，被广泛应用于大数据处理和分布式计算领域。在"Scala_IngestionPipeLine"项目中，我们可以推测这是使用Scala构建的一个数据摄入管线。数据...
时间序列数据的复杂事件处理引擎_Scala_代码_下载
06-22
欢迎来到 TSP 引擎！ TSP 是一个时间序列模式搜索引擎。它是Clover Group Service 平台...TSP 是一个用现代 Scala 实现的分布式计算系统。有关详细信息，请参阅文档。 更多详情、使用方法，请下载后阅读README.md文件
spark sql运行时候出现cannot resolve '`bid`' given input columns: [bid, name, iphone];
听风成歌。
01-09 1万+
测试代码如下： object ReadFileTest { def main(args: Array[String]): Unit = { //创建spark环境 val spark: SparkSession = SparkSession.builder() .appName(ReadFileTest.getClass.getName) ...
由 cannot resolve ‘`a.stuID`‘ given input columns: [a.stuID, a.zhuanID, b.stuID, b.zhuanID]错误引发的思考
Buevara的博客
07-08 9372
利用sparksql对两张表进行join，报错： 检查表中字段： 发现两张表内都存在stuID。 折腾了好久也没弄好，后来不甘心，将数据转为txt格式，没想到同样的代码***跑通了***。 这可太amazing了，打开两个文档反复对比了一下。并没有什么不同，直到身边的大神让我查看一下文件的编码才发现端倪： ## 预览文件 head -n 1 xxx.txt | od -c linux 下的od命令可以查看 这篇博客 结果显示： 发现csv文件的第一行第一列开头比txt多了三个字符，原因就在这： 再次
IntelliJ IDEA 2020.3.3 遇到Cannot resolve table ‘goods’
zaq977684的博客
04-09 805
问题，提示找不到goods这张表， 备注：整个操作是建立在有个shop的数据库，数据库中含有goods的表。如何建数据库和表在此不进行表述。 感兴趣的可以参照这个链接http://www.imooc.com/wiki/springbootlesson/jdbctemplate.html 鼠标点击goods会看到@Table上有个红灯 点击红灯，选择Assign Data Sources 点击Assign Data Sources 看到数据源根本没goods的表，解决方法应该是添加
org.apache.spark.sql.AnalysisException: cannot resolve '`id`' given input columns
kngines
04-14 2万+
场景描述 Spark 获取MySQL数据并持久化入 json、parquet文件过程记录分析 解析异常 具体原因待分析 Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`id`' given input columns: [ id, name, age, sex];; '...
解决 cannot resolve 依赖包的问题
liutianxiazhendehao的博客
03-30 1万+
在maven import的时候 报这样的错误 可能是下载的依赖包存在不完整等奇奇怪怪的问题，无法解析，而由于本地有缓存，maven不会从远程中心库重新下载。 主要的解决方法就是重新下载依赖，可尝试如下方法中任一解决 可清缓存重新加载项目（idea选择 invalidate caches/restart），会重新下载全部依赖 删除本地maven repository中对应依赖包，在项目中reimport重新下载依赖。 比如 org.xxx.zzz 导入出了问题，就进入 ~/.m2/repos..
Cannot resolve .....报错问题解决
热门推荐
张老板的博客
05-02 5万+
当导入maven管理的项目后,maven进行自动的下载和解析依赖,有时候因为网络问题,等待太久没下载好,我们就关闭了IDEA,再次打开IDEA时就会报错某某依赖无法解析:Cannot resolve …,是因为我们下载到一半就关闭了IDEA,导致下载的内容不全,所以无法解析. 此时的解决方法是复制报错依赖的版本号前的那段依赖名称:如下图 在utools的everything插件里查找该依赖:如下图 切换到该文件夹,我们就能看待报错的依赖:如下图 我们将该依赖直接删除,或者点击该依赖文件进去找到尾缀为.l
关于Cannot resolve xxx的解决办法
NoviceZ的博客
11-18 2万+
有时候，我们明明没做其它什么配置，只是升级了某些依赖软件的版本，但是当我们下载依赖的时候，会出现Cannot resolve xxx的情况，即本地没有找到对应版本的依赖包。 常规解决办法如下： 1）检查idea设置里面的maven设置，查看相关maven的配置路径是否正确。 2）清除缓存并重启idea 很多时候重启可以解决一大部分问题 3）刷新pom文件 我遇到的问题用上面方案都不能解决，我的问题是： pom文件升级了某个开源软件，但是在reload项目的时候会报Cannot resolve
org.apache.spark.sql.AnalysisException: cannot resolve '`province`' given
weixin_30371875的博客
01-10 2433
Exception in thread "main" 19/01 21:47:32 WARN util.Utils: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields...
大数据Spark “蘑菇云”行动第72课： 基于Spark 2.0.1项目实现之二. 实战 各种小bug修复及性能调优 200并行度调整为2个task
段智华的博客
11-03 2969
大数据Spark “蘑菇云”行动第72课： 基于Spark 2.0.1项目实现之二.   规律：agg前一般都进行grouBy操作           {"userID":"userID5234","Name":"zhangsan","Gender":"man","Occupation":"student"} {"userID":"userID2234","Name":"li
Scala编程入门：无缝对接Java与Spark的大数据处理
通过传递函数作为参数，程序员可以高效地并行处理数据，减少对共享状态的依赖。Scala中的`RDD`（弹性分布式数据集）是Spark的核心概念，它是一个不可变、分区的数据集，可以在多台机器上并行处理，提供了高度抽象的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值