- 博客(3)
- 收藏
- 关注
RSS订阅原创 RDD编程初级实践
文章目录实验目的一、pyspark交互式编程1.导入数据2.该系总共有多少学生3.该系共开设了多少门课程4.Tom同学的总成绩平均分是多少5.求每名同学的选修的课程门数6.该系DataBase课程共有多少人选修7.各门课程的平均分是多少8.使用累加器计算共有多少人选了DataBase这门课二、编写独立应用程序实现数据去重1.导入数据2.编写程序3.执行程序并查看结果三、编写独立应用程序实现求平均值问题1.导入数据2.编写程序3.执行程序并查看结果总结实验目的更进一步熟悉Spark的RDD基本操作及键.
2021-06-08 20:23:42
188
原创 大数据初窥
论大数据我学了啥创建hadoop用户更新apt安装Java环境安装 Hadoop 2Hadoop伪分布式配置运行Hadoop伪分布式实例安装eclipse创建hadoop用户$ sudo useradd -m hadoop -s /bin/bash这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：$ sudo passwd ** //键入你想设置的密码来替换星号为 hadoop
2020-12-19 15:14:50
249
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人