- 博客(2)
- 收藏
- 关注
RSS订阅原创 RDD编程初级实践
RDD编程初级实践pyspark交互式编程编写独立应用程序实现数据去重编写独立应用程序实现求平均值问题 pyspark交互式编程 问题需求：提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 …… 在操作系统：Ubuntu16.04，Spark版本：2.
2021-06-10 19:37:27
398
原创 Eclipse利用Hadoop平台实现统计单词个数
统计单词个数 要求 1.将待分析的文件（不少于10000英文单词）上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 过程 1.首先启动hadoop,用jps判断是否启动成功，如果成功，则如下图所示 2.递归创建/user/hadoop/input目录，将不少于10000字单词的文件上传到/user/hadoop/input目录下 3.打开eclipse进行配置，填写工作空间 4.选择 Window 菜单下的 Preference 5.切换 Map/R
2020-12-20 22:00:41
1910
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人