- 博客(16)
- 收藏
- 关注
原创 Spark大数据处理讲课笔记4.8 Spark
使用Spark SQL实现词频统计使用Spark SQL计算总分与平均分使用Spark SQL实现分组排行榜使用Spark SQL统计每日新增用户主要讲解以上内容。
2023-06-09 10:39:52 121
原创 Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
load()方法和save()方法。load()方法可以加载外部数据源为一个DataFrame,save()方法可以将一个DataFrame写入指定的数据源。
2023-06-09 10:18:26 148
原创 Spark大数据处理讲课笔记4.2 Spark SQL数据源的基本操作
查看HDFS上/input目录里的house.csv文件,读取房源csv文件,得到房源数据帧,查看房源数据帧内容然后大家可以看到,house.csv文件第一行是字段名列表,但是转成数据帧之后,却成了第一条记录,这样显然是不合理的,怎么办呢?就需要用到option()方法来传递参数,告诉Spark第一行是表头header,而不是表记录。
2023-05-25 11:13:00 151
原创 Spark大数据处理笔记2.2搭建Spark
1.首先我们要安装安装Spark集群前,需要安装Hadoop环境(一)前提是安装配置好了JDK(查看JDK版本)
2023-04-03 09:47:09 105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人