- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark编程进阶--spark sql结构化数据，文件处理
join()方法--允许笛卡尔积操作，使用join(right:DataFrame)方法链接Rating和user两个DataFrame数据，查看前三条记录。select()方法--使用select方法查询user对象中userId及gender字段的数据，查看查询结果的前3条信息。sort()--用sort根据userId字段对user对象进行升序排序，查看结果的前3条信息。apply()方法--查询user对象中zip字段的数据，查看查询结果。selectExpr（）--对指定字段进行特殊处理。
2024-05-12 18:01:05
462
1
原创 scala基础---spark编程基础
创建区间数组，生成数组(1,3,5,7,9)查看z数组中除了第一个元素外的其他元素。判断数组z是否包含元素"baiu"通过concat()方法连接数组。元素1,元素2,......)通过操作符"++"连接数组。查看数组z的第一个元素。
2024-05-12 14:02:22
402
原创 每天一点Spark
一认识Spark 1.Spark的发展历史 2.什么是Spark 3.Spark的特点 4.什么是结构化数据什么是非结构化数据二了解Spark运行架构与原理 1.了解Spark架构 2.了解Spark作业运行流程 3.了解Spark核心数据集PDD
2024-03-04 14:52:39
348
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人