SparkSession与sc(Spark Context)类似,是SQL查询和创建DataFrame的起始点,程序的入口。
SparkSession内部封装了SparkContext,所以底层计算还是由SparkContext完成的,当我们使用spark-shell的时候,spark会自动创建一个叫spark的sparkSession,就像我们也可以自动获取一个sc来表示sparkContext一样。
SparkSession初学理解
最新推荐文章于 2024-07-03 00:44:33 发布