- 博客(2)
- 收藏
- 关注
RSS订阅原创 2021-06-11
期末大作业一 RDD编程初级实践 一、实验目的 （1）熟悉Spark的RDD基本操作及键值对操作； （2）熟悉使用RDD编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark版本：2.4.0 Python版本：3.4.3 三、实验内容和要求 1．pyspark交互式编程 安装Spark（Local模式） sudo tar -zxf ~/下载/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local su
2021-06-11 11:55:23
393
1
原创 调用MapReduce对文件中各个单词出现次数进行统计
调用MapReduce对文件中各个单词出现次数进行统计 实验配置：系统:Ubuntu Kylin | 环境：Hadoop | 软件：Eclipse 要求 1.将待分析的文件（不少于10000英文单词）上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 一、安装Ubuntu 在学习Hadoop方面，推荐个人在学习生活中使用Ubuntu,所以本实验采用Ubuntu 。 二、准备工作 1.创建Hadoop账户 1.打开终端窗口，输入如下命令创建新用户 : sud
2020-12-20 17:45:30
947
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人