大数据学习路上的坑
Fqzzzzz
大数据学习中
展开
-
推荐系统实现过程中SparkSql整合hive报元信息错误
问题描述:错误信息如下:org.datanucleus.metadata.InvalidClassMetaDataException: Class "org.apache.hadoop.hive.metastore.model.MDatabase" field "org.apache.hadoop.hive.metastore.model.MDatabase.catalogName" : declared in MetaData, but this field doesnt exist in the c原创 2021-11-28 00:52:43 · 2172 阅读 · 1 评论 -
推荐系统实现过程中遇到的日志NoClassDefFoundError:StaticLoggerBinder问题_fqzzzzz的CSDN
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录问题分析解决问题使用spark做推荐系统时,出现日志文件没找到的报错,报错信息如下:Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/impl/StaticLoggerBinder at org.apache.spark.internal.Logging$.org$apache$spark$internal$Logging$$isLog原创 2021-11-27 00:21:25 · 2132 阅读 · 0 评论 -
spark on yarn模式下SparkStream整合kafka踩的各种坑(已解决)_fqzzzzz的博客
项目场景:使用sparkStream接收kafka的数据进行计算,并且打包上传到linux进行spark任务的submit错误集合:1.错误1:Failed to add file:/usr/local/spark-yarn/./myapp/sparkDemo04.jar to Spark environmentjava.io.FileNotFoundException: Jar D:\usr\local\spark-yarn\myapp\sparkDemo04.jar not foundWA原创 2021-11-25 20:17:30 · 754 阅读 · 0 评论