Scala
spark_scala错误总结
骑着蜗牛ひ追导弹'
鲸落于海,星沉于洼,风隐于密林,蝉鸣漏进夏至。
展开
-
【Spark】java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200.
该问题出现原因是因为申请的不够导致无法启动。原创 2022-07-05 21:09:29 · 2189 阅读 · 0 评论 -
【Spark】WARN: Establishing SSL connection without server‘s identity verification is not recommended.
问题Thu Jan 13 18:17:41 CST 2022 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn.原创 2022-01-13 19:05:33 · 356 阅读 · 0 评论 -
【Spark】java.lang.ClassCastException: java.math.BigInteger cannot be cast to java.lang.Long
报错Exception in thread "main" java.sql.SQLException: java.lang.ClassCastException: java.math.BigInteger cannot be cast to java.lang.Long at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073) at com.mysql.jdbc.SQLError.createSQLException(SQLE.原创 2022-01-13 18:13:25 · 1962 阅读 · 0 评论 -
【Spark】Exception in thread “main“ java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)
Exception in thread “main” java.lang.NoSuchMethodError: scala.Product.initinitinit(Lscala/Product;)V经查阅资料,初步确认原因为:当前idea引入的scala运行环境版本与idea默认的scala版本不一样。原创 2021-12-27 11:05:06 · 595 阅读 · 0 评论 -
【Spark】Exception in thread “main“ java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: sc
版本匹配问题!参见:Spark代码提交到Yarn报错转载 2021-12-27 10:45:26 · 513 阅读 · 0 评论 -
【Spark】集群运行报错 --- java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
报错集群模式运行Spark的jar包时jdbc连接错误,无法连接数据库,我的数据库版本是5.xCaused by: java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at java.lang.C.原创 2021-08-20 10:04:58 · 1751 阅读 · 1 评论 -
【Spark】报错:Only one SparkContext may be running in this JVM (see SPARK-2243).
报错分析object partOne1 { // 创建环境 val conf = new SparkConf() .setAppName("hdfs") .setMaster("local[6]") val sc = new SparkContext(conf) // 设置日志级别 sc.setLogLevel("ERROR") def main(args: Array[String]): Unit = { // 创建环境 val co.原创 2021-07-14 09:56:50 · 1401 阅读 · 0 评论 -
【Spark】Could not locate executable null\bin\winutils.exe in the Hadoop binaries
项目场景:在ideal中运行spark项目进行数据存储文件时报错。问题描述:报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries 原因分析:原因:缺少winutils.exe程序Hadoop都是运行在Linux系统下的,在windows下eclipse中运行mapreduce程序,要首先安装Windows下运行的支持插件解决方案:1.在与你安装的对应版本的hadoop文件包目录中到达原创 2020-12-09 17:24:40 · 9377 阅读 · 3 评论 -
【Spark】Error:scalac: Scala compiler JARs not found (module ‘Spark_Competition‘): ........
Error:scalac: Scala compiler JARs not found (module ‘Spark_Competition’)今天使用直接学习的Spark项目的时候报了个错:Error:scalac: Scala compiler JARs not found (module 'Spark_Competition'): C:\Users\35192\.m2\repository\org\scala-lang\scala-library\2.11.0\scala-library-2.1.原创 2021-04-19 09:00:43 · 3676 阅读 · 0 评论 -
【Spark】IDEAL 踩过的坑 —— 参数无法识别
如下可能是很多人一开始学某些编程的时候都会出现的问题(一开始我也遇到过),可能会跟着某些教程视频一步一步的去做,但是有时候明敏和视频老师大的一样的代码,偏偏出错,各种错,百思不得其解,有时候往往这种情况会劝退很多人。其实很简单,就像下面这一段Spark的wordcount案例,在拆分字符串的时候,这里报错就是那个参数regex部分,图一可能就是你看到老师的代码,图二就是你自己的代码。图一:图二:但是最终你的还是报了错:其实,这是因为一般用的IDEAL软件编程工具功能强大,有许多自带的提示功.原创 2021-03-25 15:56:11 · 454 阅读 · 0 评论