通常 ‘NoneType’ object has no attriue ‘_jvm’ 让人摸不着头脑,
但是该异常信息上面一般会打印一些信息,
其中:
会有jc = sc._jvm.fuctin.xxx(_to_java_column(col),options)的样子
xxx是不定的
原因是map或其他元算算子中调用的某个方法有问题,不适用
像我的程序中出的问题是因为from pyspark.sql.functions import * 中的round取小数一定位数的函数与python自己内置的round函数覆盖引发的问题
sql.functions一般用于dataframe的column,无法应用到非dataframe的column列形式中
不信,就试试在外面from pyspark.sql.functions import round 后写一个简单的 round(3.14,2)都会报错