![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scala
葫芦娃九爷爷
溜了溜了
展开
-
Spark的RDD怎么以CSV格式保存到HDFS上?
一般在Spark开发过程中,有时候存在将RDD的结果直接保存为CSV文件的这种需求,那么如何将RDD直接保存为CSV文件写到HDFS上呢? 1.在SparkSQL的API中,目前支持将DataFrame的write()可以将DataFrame直接保存为CSV文件,只需指定保存文件路径。 形如:DataFrame.write.csv("Path") 2.但对于Spark任务往往得到的是RDD的结果,而并非DataFrame,这种RDD是不能够直接调用write()方法的,因此需要先将RDD转为DataFram原创 2020-12-03 15:41:13 · 2923 阅读 · 1 评论 -
Spark中常用的join操作的区别
Spark中常用的join操作有leftOuterJoin、rightOuterJoin、fullOuterJoin及join,这4个join 类似于mysql中的join操作,其中join就相当于mysql中的innerJoin。 下面以代码和结果的形式展示这几个join的区别: val conf = new SparkConf().setAppName("JoinTest").setMaster("local") val sc = new SparkContext(conf) v原创 2020-11-24 09:58:35 · 569 阅读 · 0 评论 -
Scala基础语法与Java常见的异同点
1.scala中 -> <- => 符号的区别? 一般而言,在scala的for循环中使用到<-,表示循环遍历某个内容,如 for(i <- 0 to 4){ } 而 -> 则用于在Map结构中构造K-V对,如 “Alice”->1 => 则用在创建函数的函数体时或模式匹配时用到的 def multi() =>{ } 2.scala中的通...原创 2020-01-10 16:15:12 · 422 阅读 · 0 评论 -
Scala编程语言中的隐式转换
一般在开发过程中,也很少用到隐式转换,但在面试中又会经常问到,下面描述下什么是隐式转换? * 1. 隐式转换的定义 简单地说,隐式转换就是:当Scala编译器进行类型匹配时,如果找不到合适的候选,那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型* 2. 隐式转换的方法 隐式转换完成的方式一般有2种,旧的定义方法指是的“implict def”形式,这种形势下,隐式转换只是一种普通的方法,只不过这种方法要用implicit修饰符修饰,下面以代码举例: object ImplicitTr原创 2020-09-25 15:39:18 · 118 阅读 · 0 评论