Spark SQL
文章平均质量分 51
小辉懂编程
始于热爱,忠于记录,终于研究,本人暂时可培训:全国职业院校技能大赛(大数据开发)赛项比赛
展开
-
concat_ws()和college_list()配合=>实现多行转一行
concat_ws()和college_list()配合=>实现多行转一行。原创 2023-12-21 15:49:10 · 1142 阅读 · 0 评论 -
SparkSQL 函数 crossjoin()
crossJoin是 Spark SQL 中用于连接两个 DataFrame 的操作。这个操作会生成一个新的 DataFrame,其中包含两个原始 DataFrame 中所有可能的行组合,即它是一种笛卡尔积。原创 2023-12-19 15:29:38 · 787 阅读 · 0 评论 -
Spark SQL中coalesce()函数
在Spark SQL中,`coalesce()`函数用于从给定列中选择非空值。它接受一个或多个列作为参数,并返回第一个非空值。在数据清洗和预处理过程中,`coalesce()`函数非常有用,特别是在处理缺失值或空值时。原创 2023-12-12 17:16:13 · 717 阅读 · 0 评论 -
Spark SQL 时间格式处理
理解是先用unix_timestamp将指点格式转换为时间戳,再用from_unixtime将时间戳转换为你想要的时间格式!所以这两个一般是配合使用的。函数通常用于将Unix时间戳转换为日期和时间格式。它接受一个Unix时间戳作为输入,并返回一个表示特定日期和时间的字符串。函数通常用于将日期和时间转换为Unix时间戳。它接受一个日期和时间作为输入,并返回一个表示该日期和时间的Unix时间戳。: 取得当期时间日期。原创 2023-11-24 20:47:59 · 1753 阅读 · 2 评论