spark
文章平均质量分 93
我是故意来地球的
这个作者很懒,什么都没留下…
展开
-
sparkRDD函数详解
这里写目录标题1、RDD操作详解1.1 基本转换1) map2) filter3) flatMap4) mapPartitions5) mapPartitionsWithIndex6) mapWith7) flatMapWith8) coalesce9) repartition10) randomSplit11) glom12) union并集13) distinct14) intersection交集15) subtract16) subtractByKey17) groupbyKey18) reduce原创 2021-04-29 15:41:48 · 172 阅读 · 0 评论 -
spark本地调试内网hdfs
spark读取hdfs文件原理 /**获取具有任意输入格式的Hadoop文件的RDD * * 因为Hadoop的RecordReader类对每条记录重新使用相同的可写对象, * 所以直接缓存返回的RDD或直接将其传递给聚合或无序处理操作将创建同一对象的多个引用。 * 如果计划直接缓存、排序或聚合Hadoop可写对象,您应该首先使用“map”函数复制它们。 * @pa...原创 2019-12-20 18:31:29 · 299 阅读 · 0 评论