- 博客(2)
- 收藏
- 关注
RSS订阅原创 RDD编程初级实践
RDD编程初级实践RDD编程初级实践你好！ 这是你第一次使用 RDD编程 所展示的教学页。如果你想学习如何使用RDD编程, 可以仔细阅读这篇入门文章，了解一下RDD的基本语法知识。实践准备通过了解和学习Spark运行架构和RDD设计原理，我们可以实现如下三个实验，帮助你更好地使用它编程：一、 pyspark交互式编程 ；二、 编写独立应用程序实现数据去重 ；三、 编写独立应用程序实现求平均值问题 。通过以上三个实验，我们能达到下面两个目标：熟悉Spark的RDD基本操作及键值对操作熟悉
2021-06-07 21:12:47
741
4
原创 调用MapReduce对文件中各个单词出现的次数进行统计
把本地文件系统的“/home/hadoop/word.txt”上传到HDFS中的当前用户目录的input目录下，也就是上传到HDFS的“/user/hadoop/input/”目录下：./bin/hdfs dfs -put /home/hadoop/word.txt input可以使用ls命令查看一下文件是否成功上传到HDFS中，具体如下：./bin/hdfs dfs –ls input首先，启动Eclipse直接采用默认的设置“/home/hadoop/workspace”，工作空间目录位于hado
2020-12-20 15:32:48
475
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人