- 博客(2)
- 收藏
- 关注
RSS订阅原创 2021-06-10
RDD编程初级实践 一、实验目的 （1）熟悉Spark的RDD基本操作及键值对操作； （2）熟悉使用RDD编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark版本：2.4.0 Python版本：3.4.3 三、实验内容和要求 1．pyspark交互式编程 本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom...
2021-06-10 14:09:48
114
原创 Hadoop的综合应用
1.将待分析的文件（不少于10000英文单词）上传到HDFS 数据集：莎士比亚《十四行诗》，数据集共有194788行数据。 数据上传到HDFS: 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 4.将Hadoop的搭建（可查看林子雨论坛教程的截图，可以不进行重新安装软件） 到MapReduce文件上传、上述要求的过程、以及你的分析过程和分析结果，写成一篇博客，发布在CSDN上，字数不少于1000字 题目：莎士比亚《十四行诗》词频统计 过程： （1）hado
2020-12-24 20:53:43
440
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人