- 博客(2)
- 收藏
- 关注
原创 2021-06-09
RDD编程初级实践1、需求描述本次实验所需要用到的是RDD编程、pyspark运行环境以及spark独立应用程序等相关知识。RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升了查询速度。现在开发的过程中都是面向对象的思想,
2021-06-09 23:05:58 676 2
原创 Hadoop大作业
源代码package org.apache.hadoop.examples;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import
2020-12-17 10:45:09 820
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人