Scala
minchowang
这个作者很懒,什么都没留下…
展开
-
Hive On Spark编译
环境说明:versionCentOS6.8JDK1.8Maven3.6.3Scala2.11.8Hadoop2.7.2Hive2.3.6Spark2.1.1源码编译Hive和Spark的版本兼容性https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3a+Getting+Started1.下载Spark源码包:https://archive.apac原创 2020-05-15 00:14:11 · 762 阅读 · 0 评论 -
Scala 合并两个Map
把Scala的两个Map合并,合并的时候会遇到相同的键和不同的键,对与相同的键,合并后的值是两个Map的值的和,对于只存在于一个Map中的键保留其值不变,对于下面两个map的合并scala> val m1 = Map(1->10, 2->4)m1: scala.collection.immutable.Map[Int,Int] = Map(1 -> 10, 2 -> 4)scala> val m2 = Map(2->5, 4->8)m2: s转载 2020-05-11 20:33:53 · 1569 阅读 · 0 评论 -
Spark 常用算子
Spark的算子的分类从大方向来说,Spark 算子大致可以分为以下两类:1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Action 操作的时候才会真正触发运算。2)Action 行动算子:这类算子会触发 ...原创 2020-05-11 20:18:16 · 566 阅读 · 0 评论 -
Scala 排序函数 sorted sortBy sortWith
排序方法在实际的应用场景中非常常见,Scala里面有三种排序方法,分别是: sorted,sortBy ,sortWith分别介绍下他们的功能:(1)sorted对一个集合进行自然排序,通过传递隐式的Ordering(2)sortBy对一个属性或多个属性进行排序,通过它的类型。(3)sortWith基于函数的排序,通过一个comparator函数,实现自定义排序的逻辑。...转载 2020-05-05 16:06:53 · 7376 阅读 · 0 评论