UDF很慢

2018/04/23
大部分时候，都是用的spark内置的命令。什么记个数，什么做个sql，这种概念。
即使是上了我所有的数据集，也不会特别慢。
但是自从我上了这个udf之后，就变得很慢了。每次运行个二十多分钟，这个就有点没法忍受了。
但是还是不能理解，到底是什么部分导致我变慢了。这个阶段的优化的话，就真的是语言级别的优化了，整体说底层架构的东西已经都优化好了，但是对于语言来说，还是没有优化。
不过，话说回来，除了一个我自定义的函数，大部分语句还是那种pandas的统计数据的。

我感觉，一个比较重要的地方，就是我怎么去看这部分是耗时的，又怎么去优化。还是得去谷歌查，