hadoop
qq_41669665
这个作者很懒,什么都没留下…
展开
-
通过maven导入scala工程遇到的问题
1、pom.xml中报错Plugin execution not covered by lifecycle configuration: org.scala-tools:maven-scala-plugin解决方法:在<plugins>标签之前加一个 <pluginManagement> 2、scala编译错误,解决方法右击项目,configure 添加scala nature...原创 2020-06-24 10:45:24 · 572 阅读 · 0 评论 -
spark和scala版本对应关系
参考资料:https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.12?__cf_chl_jschl_tk__=8dd03c607c8e97e5db0e988e5fc8c6ddb6f9952d-1592894813-0-AaK_Qsxm0REfQWrRUDNVE29T2_dmbMCde9...原创 2020-06-23 15:09:32 · 4320 阅读 · 1 评论 -
spark on yarn client模式
提交时,jar包需要在本地才可以,不能再hdfs上/usr/local/spark/bin/spark-submit --master yarn --deploy-mode client --num-executors 3 --name dnumcount --class cn.spark.study.core.CountDnum /usr/local/spark-study/scala/D...原创 2019-10-17 16:53:15 · 224 阅读 · 0 评论 -
YARN调度报错: exitCode: -1000 due to: File does not exist: hdfs
把setMaster("local")改为setMaster("yarn-cluster")原创 2019-10-17 08:56:32 · 1777 阅读 · 0 评论 -
spark运行模式
local单机,所有jobs都在这台机器上运行。standalone就是说多台机器组成一个集群,然后jobs可以分在多台机器上运行yarn就是说spark程序运行在yarn上client就是Jobs在不同机器运行,然后结果返回到这台机器上。cluster就是说jobs在...转载 2019-10-15 15:12:16 · 137 阅读 · 0 评论 -
spark 运行模式
Spark核心技术原理透视二(Spark运行模式)http://www.sohu.com/a/217422466_100065429转载 2019-10-15 14:51:05 · 111 阅读 · 0 评论 -
spark报User class threw exception: No suitable driver found for jdbc:mysql
在spark-defaults.conf中配置spark.executor.extraClassPath /data/app-install/spark/lib/mysql-connector-java-5.1.32.jar:/data/app-install/spark/lib/fastjson-1.2.4.jar原创 2018-10-26 10:40:15 · 1020 阅读 · 0 评论 -
scala中case的用法
scala中没有switch,但是有case,其case相当强大,有各种不同的匹配方式。一.简单匹配,值匹配:例 a:val bools = List(true, false)for (bool <- bools) {bool match {case true => println("heads")case false => println("tails")...转载 2019-01-09 16:12:44 · 30250 阅读 · 0 评论