- 博客(2)
- 收藏
- 关注
原创 RDD编程初级实践
RDD编程初级实践RDD编程初级实践实验目的实验平台实验内容pyspark交互式编程该系总共有多少学生?该系共开设有多少课程?Tom同学的总成绩平均分是多少?求每名同学的选秀的课程数?该系DataBase课程共有多少人选修?各门课程的平均分是多少?使用累加器计算共有多少人选了DataBase这门课?编程独立应用程序实现数据去重创建remdup.pyremdup.py文件内容结果编写独立程序实现平均值问题创建avgscore.pyavgscore.py文件内容结果参考材料 RDD编程初级实践 实验目的 (1)
2021-06-10 20:16:25 156 3
原创 一、调用MapReduce执行WordCount对单词进行计数
这里写自定义目录标题欢迎使用Markdown编辑器 欢迎使用Markdown编辑器 一、调用MapReduce执行WordCount对单词进行计数 1、准备一个待分析的文件,里面全都是英文单词。 2、将这个文件上传到HDFS中,我们通过命令的方式进行上传(Hadoop已开启成功) cd /usr/local/hadoop ./bin/hdfs dfs -put /home/hadoop/桌面/word input 3、单词文件上传至HDFS成功后,我们需要安装 Hadoop-Eclipse-Plugin,因
2020-12-20 21:33:51 195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人