pyspark.sql.functions中的col函数

最新推荐文章于 2024-07-08 07:15:00 发布

数据闲逛人

最新推荐文章于 2024-07-08 07:15:00 发布

阅读量5.7k

点赞数 4

分类专栏： # 【Hadoop & Spark】文章标签： sql spark 数据库

本文链接：https://blog.csdn.net/jcjic/article/details/122303381

版权

【Hadoop & Spark】专栏收录该内容

14 篇文章 2 订阅

订阅专栏

本文介绍了Spark DataFrame中的col函数，用于选取和操作数据列。通过示例展示了col函数如何用于数据提取和计算，如查看某列数据和进行数值运算。文章解释了col函数在进行数据计算时的重要性，并通过与直接使用列名的比较，突显其在表达式计算中的作用。

摘要由CSDN通过智能技术生成

嗨喽! 大家好，我是“流水不争先，争得滔滔不绝”的翀，欢迎大家来交流学习，一起入坑数据分析，希望我们一起好好学习，天天向上，目前在社会毒打中~~

col函数的作用相当于python中的dadaframe格式的提取data[‘id’],关键是能够进行计算。可能有点难以理解，下面我举行一些例子说明
spark中我们想查看一下某列数据可以这么做


df_kol_stats.select(col("collect_count")).show(5)
+-------------+
|collect_count|
+-------------+
|            0|
|           91|
|          251|
|            0|
|            0|
+-------------+
only showing top 5 rows
1
df_kol_stats.select("collect_count").show(5)
+-------------+
|collect_count|
+-------------+
|            0|
|           91|
|          251|
|            0|
|            0|
+-------------+
only showing top 5 rows