- 博客(2)
- 收藏
- 关注
RSS订阅原创 期末大作业——RDD编程初级实践
RDD编程初级实践一、实践目的二、实践设备三、实践内容四、操作步骤1.实践文件准备2.pyspark交互式编程3.编写独立应用程序实现数据去重4.编写独立应用程序实现求平均值问题 一、实践目的 1.熟悉spark的RDD基本操作及键值对操作 2.熟悉使用RDD编程解决实际具体问题的方法 二、实践设备 操作系统：Ubuntu16.04 Spark版本：2.4.0 Python版本：3.4.3 三、实践内容 1.pyspark交互式编程 本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数
2021-06-09 22:09:16
633
4
原创 Hadoop综合大作业——文件单词个数统计
目录一、在Windows中使用VirtualBox安装Ubuntu1.安装前的准备2.安装Ubuntu二、Hadoop安装教程_单机/伪分布式配置1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.Hadoop 26.Hadoop单机配置(非分布式)7.Hadoop伪分布式配置8.运行Hadoop伪分布式实例三、分布式文件系统HDFS1.利用Shell命令与HDFS进行交互1.1目录操作1.2文件操作2.利用Web界面管理HDFS3.利用Java API与HDF
2020-12-19 17:50:56
1818
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人