- 博客(2)
- 收藏
- 关注
原创 RDD编程初级实践
期末大作业一 RDD编程初级实践一、实验目的(1)熟悉Spark的RDD基本操作及键值对操作;(2)熟悉使用RDD编程解决实际具体问题的方法。二、实验平台操作系统:Ubuntu16.04Spark版本:2.4.0Python版本:3.4.3三、实验内容和要求1.pyspark交互式编程本作业提供分析数据data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:Tom,DataBase,80Tom,Algorithm,50Tom,DataStructure,60Ji
2021-06-06 23:10:05 134
原创 调用MapReduce对文件中各个单词出现次数进行统计
调用MapReduce对文件中各个单词出现次数进行统计文章目录• • 调用MapReduce对文件中各个单词出现次数进行统计• 要求• 一、安装Ubuntu• 二、准备工作• 1.创建Hadoop账户• 2.设置hadoop密码 :• 3.为hadoop用户增加管理员权限:• 4.更新 apt• 5.安装vim• 6.配置SSH• 三.安装Java环境• 1.安装JDK• 2.验证JDK安装情况• 3.设置JAVA坏境变量• 四.安装Hadoop• 五.Hadoop伪分布
2020-12-17 10:55:02 429
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人