scala
humanity11
这个作者很懒,什么都没留下…
展开
-
scala语法总结
object TestScala { implicit def nobody(nothing:Int)=nothing.toString // implicit def int2String(name:Int)=name.toString def main(args: Array[String]): Unit = { //various//变量 // testFo...原创 2018-07-22 12:08:29 · 173 阅读 · 0 评论 -
Spark submit 启动流程解析
用户通过将spark程序打成jar包提交给spark集群,其中的入口是spark-summit,比如spark官方文档中运行WordCount程序: spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://master:7077 \ --executor-memory 2G \ --...原创 2019-05-04 12:45:29 · 841 阅读 · 0 评论 -
spark 运行模式解析
上篇文章讲解了spark submit的提交至spark 集群,但是spark 程序如何在集群中运行并未讲解,这篇文章将围绕spark运行在集群下不同模式讲解,并说明他们的区别是什么? 通常我们spark 提交任务时都会使用如下命令: spark-submit --deploy-mode DEPLOY_MODE 其中DEPLOY_MODE就是我们想要将程序运行在什么模式下。在上篇文章中我们...原创 2019-05-04 15:55:38 · 134 阅读 · 0 评论