《Spark MLlib 机器学习》第三章代码

最新推荐文章于 2020-12-24 11:18:59 发布

sunbow0

最新推荐文章于 2020-12-24 11:18:59 发布

阅读量1w

点赞数

分类专栏： Spark Spark MLlib 文章标签： spark mllib 机器学习

本文链接：https://blog.csdn.net/sunbow0/article/details/51135514

版权

本文提供《Spark MLlib 机器学习》第三章的代码讲解，涵盖Breeze介绍及MLlib分布式矩阵的详细内容，帮助读者深入理解Spark上的机器学习实践。

摘要由CSDN通过智能技术生成

《Spark MLlib 机器学习》第三章代码

3.1 Breeze 介绍

package book_code

import org.apache.log4j.{ Level, Logger }
import org.apache.spark.{ SparkConf, SparkContext }
import breeze.linalg._
import breeze.numerics._
import org.apache.spark.mllib.linalg.Vectors

object breeze_test01 {

  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("breeze_test01")
    val sc = new SparkContext(conf)
    Logger.getRootLogger.setLevel(Level.WARN)

    // 3.1.1 Breeze 创建函数
    val m1 = DenseMatrix.zeros[Double](2, 3)
    val v1 = DenseVector.zeros[Double](3)
    val v2 = DenseVector.ones[Double](3)
    val v3 = DenseVector.fill(3) { 5.0 }
    val v4 = DenseVector.range(1, 10, 2)
    val m2 = DenseMatrix.eye[Double](3)