本文介绍了pyspark.sql模块中的SparkSession和DataFrame，重点讲解了SparkSession的创建、数据读取、DataFrame的构建以及聚合操作。SparkSession是DataFrame和SQL功能的入口，可以创建DataFrame，执行SQL操作，处理缺失值并进行统计分析。DataFrame是分布式的列式数据集，提供了丰富的数据处理功能。
pyspark.sql
- pyspark.sql.SparkSession Main entry point for DataFrame and SQL functionality. SQL功能和DataFrame的主要入口
- pyspark.sql.DataFrame A distributed collection of data grouped into named columns. 分布式数据集合，感觉有点像pandas的DF
- pyspark.sql.Column A column expression in a DataFrame.
- pyspark.sql.Row A row of data in a DataFrame.
- pyspark.sql.GroupedData Aggregation methods, returned by DataFrame.groupBy(). 不知道这玩意啥用
- pyspark.sql.DataFrameNaFunctions Methods for handling missing data (null values). 缺失值的处理
- pyspark.sql.DataFrameStatFunctions Methods for statistics functionality. 统计功能
- pyspark.sql.functions List of built-in functions available for DataFrame. DataFrame可用的内置函数列表
- pyspark.sql.types List of data types available.数据类型的类型列表
- pyspark.sql.Window For working with window functions.用于处理窗口函数
SparkSession
spark编程 DataFrame and SQL的API
能
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
