![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
ZhangHongCheng98
这个作者很懒,什么都没留下…
展开
-
2021-06-05
RDD编程初级实践1.实验目的2.实验平台3.实验内容和要求实验一:pyspark交互式编程a.该系总共有多少学生;b.该系共开设了多少门课程;c.Tom同学的总成绩平均分是多少;d.求每位同学的选修的课程门数e.该系DataBase课程共有多少人选修;f. 使用累加器计算共有多少人选了DataBase这门课;实验二:编写独立应用程序实现数据去重(1) 假设当前目录为/usr/local/spark/sparksqldata/remdup,在当前目录下新建一个remdup.py文件(2) 最后在目录/usr原创 2021-06-05 18:50:52 · 306 阅读 · 2 评论 -
调用MapReduce对文件中各个单词出现次数进行统计
调用MapReduce对文件中各个单词出现次数进行统计 实验配置:系统:Ubuntu Kylin | 环境:Hadoop | 软件:Eclipse 文章目录一、安装Linux二、准备工作1.创建Hadoop账户2.设置hadoop密码3.为hadoop用户增加管理员权限4.更新 apt5.安装SSH并配置免密登录6.安装Java环境7.安装Hadoop三、调用MapReduce执行WordCount对单词进行计数1.安装Eclipse2.配置Hadoop-Eclipse-Plugin3.在 Eclipse原创 2020-12-20 17:05:56 · 310 阅读 · 1 评论