- 博客(1)
- 收藏
- 关注
RSS订阅原创 RDD初级编程
需求描述 本次实验需要熟悉Spark的RDD基本操作及键值对操作，熟悉使用RDD编程解决实际具体问题的方法。并且能够在能够熟练掌握Linux的基本操作上，使用RDD编程，解决一系列的问题。本次实验的需求有pyspark交互式编程，编写独立应用来实现数据的去重操作，编写独立应用程序实现求平均值的问题。 环境介绍 使用的是oracle VM virtualBox，虚拟机的操作系统为Ubuntu16.04，Spark版本为2.4.0，Python版本为3.4.3，，虚拟机的内存为4G，hadoop为2.7.1，
2021-06-10 15:30:57
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人