RDD
木凡空
就让光芒折射泪湿的瞳孔
映出心中最想拥有的彩虹
展开
-
RDD算子之sample、takeSample源码详解
一、sample1.描述根据给定的随机种子,从RDD中随机地按指定比例选一部分记录,创建新的RDD。返回RDD[T]2.源码//返回此RDD的抽样子集defsample(withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T]={ require(fraction >= 0,s"Fraction must be nonnegative, but got ${fraction原创 2020-06-28 06:42:10 · 2026 阅读 · 0 评论 -
RDD应用实例之app版本升级分析
一、数据2020-05-14,张三,王者荣耀,华为应用,北京,v1.02020-05-14,李四,王者荣耀,应用宝,北京,v1.22020-05-14,张三,王者荣耀,华为应用,天津,v1.22020-05-14,张三,王者荣耀,小米应用,天津,v2.02020-05-14,王五,阴阳师,app store,上海,v1.82020-05-14,张三,王者荣耀,小米应用,天津,v2.02020-05-14,王五,阴阳师,app store,上海,v1.92020-05-15,王五,阴阳师,ap原创 2020-06-27 00:29:22 · 342 阅读 · 0 评论 -
Spark之RDD使用详解
一、创建1、外部数据源(1)读取win读取winval conf=new SparkConf().setAppName("New Test").setMaster("local")val sc=new SparkContext(conf)val readText=sc.textFile("D:\\example\\one.txt")val result=readText.sa...原创 2020-07-03 18:32:36 · 1345 阅读 · 0 评论