- 博客(2)
- 收藏
- 关注
RSS订阅原创 RDD编程初级实践
RDD编程初级实践1.pyspark交互式编程2.编写独立应用程序实现数据去重。3.编写独立应用程序实现求平均值问题. 1.pyspark交互式编程 1.pyspark交互式编程 （1）该系总共有多少学生。 数据所在路径。 获取每行第一列的数据。 去掉重复数据，防止数据不准。 统计所需元素个数。 （2）该系共开设了多少门课程。 数据所在在路径。 获取每行数据第二列的数据。 去掉重复数据，防止数据不准。 统计所需元素个数。 （3）Tom同学的总成绩平均分是多少。 数据所在在路径。 筛选To
2021-06-10 20:19:38
338
原创 Hadoop的搭建到MapReduce文件上传
Hadoop的搭建到MapReduce文件上传 Hadoop伪分布式的配置 装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做一些必备工作。 创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。 首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 : 接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码： 可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比
2020-12-25 15:09:30
489
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人