- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 2021-06-10
1、需求描述在如今的技术水平上，大数据处理技术对于日常生活是非常重要的。此次实验目的是为了让我们更加熟悉Spark的RDD基本操作及键值对操作；熟悉使用RDD编程解决实际具体问题的方法。为此设定以下需求：1.pyspark交互式编程提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：Tom,DataBase,80Tom,Algorithm,50Tom,DataStructure,60Jim,DataBase,90Jim,Algorithm,60Jim,Dat
2021-06-10 10:22:19
1728
原创 调用MapReduce对文件中各个单词出现次数进行统计
调用MapReduce对文件中各个单词出现次数进行统计实验配置：系统:Ubuntu Kylin | 环境：Hadoop | 软件：Eclipse要求1.将待分析的文件（不少于10000英文单词）上传到HDFS2.调用MapReduce对文件中各个单词出现的次数进行统计3.将统计结果下载本地。操作步骤：调用MapReduce执行WordCount对单词进行计数**一：• 1. 在Eclipse中创建项目• 2. 为项目添加需要用到的JAR包• 3. 编写Java应用程序• 4. 编译运行
2020-12-19 11:50:21
614
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人