前言:SparkSession对象为用户提供了创建dataframe对象,读取外部数据源并且转化为DataFrame对象以及执行sql的api。还包含用户对spark集群参数调控,是环境运行的基础。
##背景因数据量问题,完全无法通过hive加工,通过pyspark对数据二次落表
继续通过sh启动脚本
前言:SparkSession对象为用户提供了创建dataframe对象,读取外部数据源并且转化为DataFrame对象以及执行sql的api。还包含用户对spark集群参数调控,是环境运行的基础。
##背景因数据量问题,完全无法通过hive加工,通过pyspark对数据二次落表
继续通过sh启动脚本