ValueError: Items of feature_columns must be a _FeatureColumn. Given (type class 'collections._Indi

最新推荐文章于 2024-11-12 08:47:53 发布

tianya111cy

最新推荐文章于 2024-11-12 08:47:53 发布

阅读量2.4k

点赞数

分类专栏： Spark Python

本文链接：https://blog.csdn.net/tianya111cy/article/details/103186566

版权

在尝试使用TensorFlowOnSpark和PySpark运行Wide&Deep模型时遇到ValueError，错误指出feature_columns必须为_FeatureColumn类型。问题源于Spark广播执行时_FeatureColumn类型的序列化问题。解决方案是在driver程序的python文件中进行特定修改以避免类型检查错误。

摘要由CSDN通过智能技术生成

TensorFlowOnSpark、PySpark

Wide&Deep模型报错

ValueError: Items of feature_columns must be a _FeatureColumn. Given (type <class 'collections._IndicatorColumn'>)

原因分析

单机模型运行同样代码可以正常运行，但使用TFCluster.run 执行就会出现以上类型错误

主要是spark将方法广播到executor执行时序列化过程出现问题，此时无法将TensorFlow项目中_FeatureColumn类型正确序列化，导致feature_column.py中报检查类型出错

for column in feature_columns:
  print("==="+str(type(column)))
  if not isinstance(column, _FeatureColumn):
    raise ValueError('Items of feature_columns must be a _FeatureColumn. '
                     'Given (type {}): {}.'.format(type(column), column))

解决办法，将如下代码加到driver程序的python文件中

import collections
collections.namedtuple.__hijack = 1
当__hijack有值后，pyspark项目中serializer.py的如下方法内容将不会被执行

def _hijack_namedtu

最低0.47元/天解锁文章