问题1:AttributeError: “NoneType” object has no attribute ‘_jvm’.
解决方法:该问题由于内存不够导致,可在最初设置spark的时候,设置足够的内存,例如:
spark=SparkSession.builder.config("spark.excutor.num","4").config("spark.excutor.cores","4").\
config("spark.excutor.memory","5g").appName('sss').getOrCreate()
问题2:在pyspark中,将dataframe注册成临时表,然后倒入到hive表,采用如下语句:
insert overwrite table tbl select * from tmptbl
该方式需tbl的字段顺序和tmptbl字段顺序一致,不然容易导致顺序错乱。
解决方法:在select字段的时候,严格按照tbl的字段顺序打出来,尽量不用*代替。
spark小白,持续更新中