spark2.4.0 ml StringIndexer报错

事情是这样的

本人目前在用MovieLens_1M做电影推荐

出错的时候，是对用户数据做特征工程

首先对用户gender做StringIndexer，简单来说，就是把字符串类型的值 转成 数值类型的值，方便后续再调API做one-hot encoding，因为spark的OneHotEncoderEstimator要求必须是数值，String类型不支持呀。。。

但是，用StringIndexer转完后，我试着开始写文件（写成parquet哈），结果给我报了一长串的错。。。

 核心部分如下：
Caused by: org.apache.spark.SparkException: Failed to execute user defined function($anonfun$9: (string) => double)
  at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.processNext(Unknown Source)
  at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
  at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$13$$anon$1.hasNext(WholeStageCodegenExec.scala:636)
  at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter