pyspark 将数据转化为TFRecords格式数据
spark = SparkSession.builder.config("spark.jars","./spark-tensorflow-connector_2.11-1.15.0.jar").appName("generate active feature").getOrCreate()
df = df.read.parquet('xxx.file')
df.write.format("tfrecords").mode("overwrite").save("./tf-file")
如果这样还一直报错,记得重启一些jupyter即可。