pyspark-ml学习笔记：如何在pyspark ml管道中添加自己的函数作为custom stage?

问题是这样的，有时候spark ml pipeline中的函数不够用，或者是我们自己定义的一些数据预处理的函数，这时候应该怎么扩展呢？ 扩展后保持和pipeline相同的节奏，可以保存加载然后transform。

经过搜索有答案了，问题：How to add my own function as a custom stage in a ML pyspark Pipeline?

可以参考：

（1）https://stackoverflow.com/questions/51415784/how-to-add-my-own-function-as-a-custom-stage-in-a-ml-pyspark-pipeline

（2）https://stackoverflow.com/questions/41399399/serialize-a-custom-transformer-using-python-to-be-used-within-a-pyspark-ml-pipel

（3）ht