新Spark MLlib库读取recommend结果值

改成新

org.apache.spark.ml包(未来mllib包将不再使用,现已不再更新),很多人都会困惑如何读取预测的结果集,这里来讲解下:

比如:

ALSModel训练后 抓取里面的每个用户最喜欢的前10个品类
model.recommendForAllUsers(10)

返回的结果集是DataFrame,那么怎么去使用这个dataframe呢?

下面给出个小demo:

 

A: val userRecs:DataFrame = model.recommendForAllUsers(10)
    userRecs.foreach(row => {
        println(row(0) + ":")
        println(row(1))

      }
    )

B:  val userArray:Array[Row] = userRecs.collect()
    userArray.foreach(row => {
      println(row.get(0) + ":")
      val arrayPredict : Seq[Row] = row.getSeq(1)
      arrayPredict.foreach(rowPredict =>{
        println(rowPredict(0) + "@" + rowPredict(1))
//        println(rowPredict.head.asInstanceOf[Row](0) + "@"
//          + rowPredict.head.asInstanceOf[Row](1))
      })
      
    })

A代码直接对DataFrame操作是异步的,B代码collect以后变为数组操作,就是同步的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值