- 博客(2)
- 收藏
- 关注
原创 RDD编程初级实践
RDD编程初级实践1.pyspark交互式编程2.编写独立应用程序实现数据去重。3.编写独立应用程序实现求平均值问题. 1.pyspark交互式编程 1.pyspark交互式编程 (1)该系总共有多少学生。 数据所在路径。 获取每行第一列的数据。 去掉重复数据,防止数据不准。 统计所需元素个数。 (2)该系共开设了多少门课程。 数据所在在路径。 获取每行数据第二列的数据。 去掉重复数据,防止数据不准。 统计所需元素个数。 (3)Tom同学的总成绩平均分是多少。 数据所在在路径。 筛选To
2021-06-10 20:19:38
338
原创 Hadoop的搭建到MapReduce文件上传
Hadoop的搭建到MapReduce文件上传 Hadoop伪分布式的配置 装好了 Ubuntu 系统之后,在安装 Hadoop 前还需要做一些必备工作。 创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。 首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 : 接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码: 可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比
2020-12-25 15:09:30
489
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人