- 博客(2)
- 收藏
- 关注
RSS订阅原创 2021-06-09
RDD编程初级实践 1、需求描述 本次实验所需要用到的是RDD编程、pyspark运行环境以及spark独立应用程序等相关知识。RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。现在开发的过程中都是面向对象的思想,
2021-06-09 23:05:58
629
2
原创 Hadoop大作业
源代码 package org.apache.hadoop.examples; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import
2020-12-17 10:45:09
772
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人