- 博客(2)
- 收藏
- 关注
原创 RDD编程初级实践(Spark编程)
实现目录一、pyspark交互式编程1.该系总共有多少学生2.该系共开设了多少门课程3.Tom同学的总成绩平均分是多少4.求每名同学的选修的课程门数5.该系DataBase课程共有多少人选修6.各门课程的平均分是多少7.使用累加器计算共有多少人选了DataBase这门课二、编写独立应用程序实现数据去重1.导入数据及代码2.运行结果三、编写独立应用程序实现求平均值问题1.导入数据及代码2.运行结果一、pyspark交互式编程首先我们需要先提供某大学计算机系的成绩,数据格式如下(仅供参考)Aaron,Op
2021-06-05 18:24:19
1370
2
原创 基于Ubuntu Kylin系统在Hadoop的环境下调用MapReduce进行单词WordCount计数
这里写自定义目录标题在Ubuntu Kylin系统Hadoop的环境下调用MapReduce进行WordCount单词计数准备工作一、创建Hadoop二、更新apt三、安装SSH并配置免密登录四、安装Java环境五、安装Hadoop六、安装Eclipse配置EC在 Eclipse 中创建 MapReduce 项目九、进行WordCount,输出结果,保存到本地、在Ubuntu Kylin系统Hadoop的环境下调用MapReduce进行WordCount单词计数准备工作我们对Markdown编辑器进行
2020-12-25 18:31:59
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人