- 博客(2)
- 收藏
- 关注
原创 在SPARK中实现RDD编程
1)pyspark交互式编程 (1)该系总共有多少学生(代码及其结果如下图所示); (2)该系共开设了多少门课程(代码及其结果如下图所示); (3)Tom同学的总成绩平均分是多少(代码及其结果如下图所示); (4)求每名同学的选修的课程门数(代码及其结果如下图所示); (5)该系DataBase课程共有多少人选修(代码及其结果如下图所示); (6)各门课程的平均分是多少(代码及其结果如下图所示); (7)使用累加器计算共有多少人选了DataBase这门课(代码及其结果如下图所示): 2)编写独立应用程序实现
2021-06-10 23:12:16
1644
4
原创 2020-12-19
调用Hadoop统计英文文章各单词重复个数 摘要 使用DHFS和Map Reduce对英文文档统计各个单词出现的个数,并将结果下载到本地。 实验过程 启动Hadoop,命令及其验证成功结果如下图所示。 2. 上传需要统计单词的文件 3. 配置eclipse 在preferences中点击Hadoop Map/Reduce,输入Hadoop的安装地址。 在Open perspective中点击Other,点击Map/Reduce,点击OK。 右击Map/Reduce,点击New Hadoop L
2020-12-19 16:41:02
69
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人