记一次pyspark 的一个报错处理

在运行PySpark程序的时候，报错为：PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm'

是因为定义了一个udf函数，在函数中使用abs()方法，于是就出现了这种情况

查找原因发现是使用from pyspark.sql.functions import *  语句引入的时候，覆盖了abs()方法导致的，因此在引入语句中加入

      builtin = __import__('__builtin__')

      abs = builtin.abs

这样 问题解决