ValueError: Items of feature_columns must be a _FeatureColumn. Given (type class 'collections._Indi

TensorFlowOnSpark、PySpark

Wide&Deep模型报错

ValueError: Items of feature_columns must be a _FeatureColumn. Given (type <class 'collections._IndicatorColumn'>)

 

原因分析

单机模型运行同样代码可以正常运行，但使用TFCluster.run 执行就会出现以上类型错误

主要是spark将方法广播到executor执行时序列化过程出现问题，此时无法将TensorFlow项目中_FeatureColumn类型正确序列化，导致feature_column.py中报检查类型出错

for column in feature_columns:
  print("==="+str(type(column)))
  if not isinstance(column, _FeatureColumn):
    raise ValueError('Items of feature_columns must be a _FeatureColumn. '
                     'Given (type {}): {}.'.format(type(column), column))

 

解决办法，将如下代码加到driver程序的python文件中

import collections
collections.namedtuple.__hijack = 1
当__hijack有值后，pyspark项目中serializer.py的如下方法内容将不会被执行

def _hijack_namedtu