- 博客(2)
- 收藏
- 关注
原创 在SPARK中实现RDD编程
1)pyspark交互式编程(1)该系总共有多少学生(代码及其结果如下图所示);(2)该系共开设了多少门课程(代码及其结果如下图所示);(3)Tom同学的总成绩平均分是多少(代码及其结果如下图所示);(4)求每名同学的选修的课程门数(代码及其结果如下图所示);(5)该系DataBase课程共有多少人选修(代码及其结果如下图所示);(6)各门课程的平均分是多少(代码及其结果如下图所示);(7)使用累加器计算共有多少人选了DataBase这门课(代码及其结果如下图所示):2)编写独立应用程序实现
2021-06-10 23:12:16 1574 4
原创 2020-12-19
调用Hadoop统计英文文章各单词重复个数摘要使用DHFS和Map Reduce对英文文档统计各个单词出现的个数,并将结果下载到本地。实验过程启动Hadoop,命令及其验证成功结果如下图所示。2. 上传需要统计单词的文件3. 配置eclipse在preferences中点击Hadoop Map/Reduce,输入Hadoop的安装地址。在Open perspective中点击Other,点击Map/Reduce,点击OK。右击Map/Reduce,点击New Hadoop L
2020-12-19 16:41:02 66 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人