- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spark大数据处理讲课笔记4.8 Spark
使用Spark SQL实现词频统计使用Spark SQL计算总分与平均分使用Spark SQL实现分组排行榜使用Spark SQL统计每日新增用户主要讲解以上内容。
2023-06-09 10:39:52
95
原创 Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
load()方法和save()方法。load()方法可以加载外部数据源为一个DataFrame，save()方法可以将一个DataFrame写入指定的数据源。
2023-06-09 10:18:26
103
原创 Spark大数据处理讲课笔记4.2 Spark SQL数据源的基本操作
查看HDFS上/input目录里的house.csv文件，读取房源csv文件，得到房源数据帧，查看房源数据帧内容然后大家可以看到，house.csv文件第一行是字段名列表，但是转成数据帧之后，却成了第一条记录，这样显然是不合理的，怎么办呢？就需要用到option()方法来传递参数，告诉Spark第一行是表头header，而不是表记录。
2023-05-25 11:13:00
120
原创 Spark大数据处理笔记2.2搭建Spark
1.首先我们要安装安装Spark集群前，需要安装Hadoop环境（一）前提是安装配置好了JDK（查看JDK版本）
2023-04-03 09:47:09
85
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人