- 博客(2)
- 收藏
- 关注
RSS订阅原创 2021-06-10
3.实验需求 3.1 pyspark交互式编程 本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 …… 请根据给定的实验数据，在pyspark中通过编程来计算以下内容： （1）该系总共有多少学生； （2）该系共开设了多少门课程； （3）Tom同学的总成绩
2021-06-10 21:33:22
749
2
原创 调用MapReduce对文件中各个单词出现的次数进行统计
MapReduce对文件中各个单词出现的次数进行统计把本地文件系统的txt文件上传到HDFS中的当前用户目录的input目录下，也就是上传到HDFS的“/user/hadoop/input/”目录下，启动Edipse，创建一个Java工程，在“Project name”后面输入工程名称“WordCount”，选中“Use default location”，让这个Java工程的所有文件都保存在“/home/hadoop/workspace/WordCount”目录下，编写一个MapReduce程序，向Jav
2021-01-05 11:25:15
236
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人