Spark/Scala
文章平均质量分 87
小小程序员1986
这个作者很懒,什么都没留下…
展开
-
spark访问hbase
import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor} import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.spark.rdd.NewHadoopRDD val conf = HBaseConfiguration原创 2016-08-28 14:07:28 · 540 阅读 · 0 评论 -
RDD Transformation和Action源码剖析
wordcount.toDebugString查看RDD的继承链条所以广义的讲,对任何函数进行某一项操作都可以认为是一个算子,甚至包括求幂次,开方都可以认为是一个算子,只是有的算子我们用了一个符号来代替他所要进行的运算罢了,所以大家看到算子就不要纠结,他和f(x)的f没区别,它甚至和加减乘除的基本运算符号都没有区别,只是他可以对单对象操作罢了(有的符号比如大于、小于号要对多对象操作)。又比如取概率原创 2016-08-28 14:07:55 · 522 阅读 · 0 评论