- 博客(2)
- 收藏
- 关注
原创 2021-06-11
期末大作业一 RDD编程初级实践 一、实验目的 (1)熟悉Spark的RDD基本操作及键值对操作; (2)熟悉使用RDD编程解决实际具体问题的方法。 二、实验平台 操作系统:Ubuntu16.04 Spark版本:2.4.0 Python版本:3.4.3 三、实验内容和要求 1.pyspark交互式编程 安装Spark(Local模式) sudo tar -zxf ~/下载/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local su
2021-06-11 11:55:23
393
1
原创 调用MapReduce对文件中各个单词出现次数进行统计
调用MapReduce对文件中各个单词出现次数进行统计 实验配置:系统:Ubuntu Kylin | 环境:Hadoop | 软件:Eclipse 要求 1.将待分析的文件(不少于10000英文单词)上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 一、安装Ubuntu 在学习Hadoop方面,推荐个人在学习生活中使用Ubuntu,所以本实验采用Ubuntu 。 二、准备工作 1.创建Hadoop账户 1.打开终端窗口,输入如下命令创建新用户 : sud
2020-12-20 17:45:30
947
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人