- 博客(2)
- 收藏
- 关注
RSS订阅原创 2021-06-05
RDD编程初级实践1.实验目的2.实验平台3.实验内容和要求实验一：pyspark交互式编程a.该系总共有多少学生；b.该系共开设了多少门课程；c.Tom同学的总成绩平均分是多少；d.求每位同学的选修的课程门数e.该系DataBase课程共有多少人选修；f. 使用累加器计算共有多少人选了DataBase这门课；实验二：编写独立应用程序实现数据去重(1) 假设当前目录为/usr/local/spark/sparksqldata/remdup，在当前目录下新建一个remdup.py文件(2) 最后在目录/usr
2021-06-05 18:50:52
306
2
原创 调用MapReduce对文件中各个单词出现次数进行统计
调用MapReduce对文件中各个单词出现次数进行统计 实验配置：系统:Ubuntu Kylin | 环境：Hadoop | 软件：Eclipse 文章目录一、安装Linux二、准备工作1.创建Hadoop账户2.设置hadoop密码3.为hadoop用户增加管理员权限4.更新 apt5.安装SSH并配置免密登录6.安装Java环境7.安装Hadoop三、调用MapReduce执行WordCount对单词进行计数1.安装Eclipse2.配置Hadoop-Eclipse-Plugin3.在 Eclipse
2020-12-20 17:05:56
310
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人