![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
零落尘土
爱看书,爱交友,有时候不讲道理,嘿嘿
展开
-
Scala+Spark连接MySQL数据库使用例子
环境:MySQL5.7在写例子的时候,在pom.xml配置MySQL的驱动一直报 No suitable Driver后面查了很多,说需要8.0以上的connector配置后的例子如下:在pom.xml中增加如下代码 <properties> <mysql-connector-java.version>8.0.11</mysql-conn...原创 2019-10-12 11:36:49 · 1253 阅读 · 0 评论 -
Centos7下安装Spark环境
1.下载安装Sparkjdk基础环境省略下载地址:http://spark.apache.org/downloads.htmlcd /usr/local进入上传目录tar -zvxf spark-2.0.2-bin-hadoop2.6.tgz解压到当前目录usr/local目录下使用vi helloSpark编辑如下内容cd /usr/local/spark2.7/bin进入sp...原创 2019-09-30 10:36:33 · 390 阅读 · 0 评论 -
IDEA配置Scala项目显示Spark找不到spark
报错如下:【导入spark包】 在项目右键“Open Mudules Setting” -> “Libraries”, 点“+”,选“java”,找到spark的jar导入,这样就可以编写spark的scala程序了导入之后就不报这个错了。...原创 2019-10-09 14:20:26 · 1108 阅读 · 0 评论 -
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
其实这个错误就是编译的程序的scala版本和提交时的版本不一致导致的.我是在idea上写的scala程序 用的是2.10.5, 但是在提交spark时 忽然发现spark用的是2.11.12所以解决办法:就是在idea上重新下个和spark集群上相同的版本就行了 .原因:spark...原创 2019-10-09 14:39:07 · 171 阅读 · 0 评论 -
Scala+Spark实现取出每个班级的top3
package com.scala.testimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDD/** * @author 零落尘土 * @since 2019-10-10 */object ScoreCount { def m...原创 2019-10-10 15:41:13 · 1290 阅读 · 0 评论 -
IDEA报错:Error running $classname: Command line is too long. Shorten command line for $classname.
报错信息如下:之所以出现这个原因是一般是因为打印的环境变量太长了,超过了限制,可以尝试以下方案:方法一:选中上图中的蓝色字,跳转到下图。选择j如图jar manifest(每个报错的类都需要注意设置)方法二:项目的.idea/workspace.xml有这个选项,可以修改默认值,这样就不用每次更改...原创 2019-10-11 16:28:37 · 166 阅读 · 0 评论