spark mlib java_如何在Java应用里集成Spark MLlib训练好的模型做预测

前言

昨天媛媛说，你是不是很久没写博客了。我说上一篇1.26号，昨天3.26号，刚好两个月，心中也略微有些愧疚。今天正好有个好朋友问，怎么在Java应用里集成Spark MLlib训练好的模型。在StreamingPro里其实都有实际的使用例子，但是如果有一篇文章讲述下，我觉得应该能让更多人获得帮助

追本溯源

记得我之前吐槽过Spark MLlib的设计，也是因为一个朋友使用了spark MLlib的pipeline做训练，然后他把这个pipeline放到了spring boot里，结果做预测的时候奇慢无比，一条记录inference需要30多秒。为什么会这么慢呢？原因是Spark MLlib 是以批处理为核心设计理念的。比如上面朋友遇到的坑是有一部分原因来源于word2vec的transform方法：

@Since("2.0.0")

override def transform(dataset: Dataset[_]): DataFrame = {

transformSchema(dataset.schema, logging = true)

val vectors = wordVectors.getVectors

.mapValues(vv => Vectors.dense(vv.map(_.toDouble)))

.map(identity) // mapValues doesn't return a serializable map (SI-7005)

val bVectors = dataset.sparkSession.sparkContext.broadcast(vectors)

val d = $(vecto