- 博客(2)
- 收藏
- 关注
RSS订阅原创 2021-06-05
RDD编程初级实践一、pyspark交互编程1.该系总共有多少学生2.该系共开设了多少门课程3.Tom同学的总成绩平均分是多少4.求每名同学的选修的课程门数5.该系DataBase课程共有多少人选修6.各门课程的平均分是多少7.使用累加器计算共有多少人选了DataBase这门课二、编程独立应用程序实现数据去重三.编写独立应用程序实现求平均值问题 一、pyspark交互编程 1.该系总共有多少学生 (1).进入spark路径下创建一个sparksqldata的文件 mkdir sparksqldata (
2021-06-05 19:53:07
807
原创 调用MapReduce对文件中各个单词出现次数进行统计
调用MapReduce对文件中各个单词出现次数进行统计 实验配置：系统：Ubantu Kylin | 环境： Hadoop | 软件： Eclipse 文章目录调用MapReduce对文件中各个单词出现次数进行统计一、Linux的安装二、准备工作1.创建hadoop账户2.更新 apt3.安装vim4.配置SSH三.安装Java环境1.安装JDK2.验证JDK安装情况四.安装 Hadoop五.Hadoop伪分布式配置1.修改配置文件2.执行 NameNode 的格式化:3.开启NameNode和DataNo
2020-12-16 13:38:29
203
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人