hhhhh_s的博客

原创 解决pySpark导入模型报错：AttributeError: Can‘t get attribute ‘XXX‘ on ＜module ‘pyspark.worker‘ from...＞

将类的定义放在一个单独的模块中，并在驱动程序和worker节点上都导入这个模块。这样可以确保类的定义在所有节点上都是可见的，从而避免在worker节点上无法访问类的属性的问题。将MemberOrderInfo类定义在单独的模块中(spark/a.py)，导入该模块namedtuple(具名元组)是继承自tuple的子类。namedtuple可创建一个和tuple类似的带有字段名的对象，而且对象拥有可访问的属性。注释：namedtuple其他操作。