[Spark应用]-- 实现pageRank

最新推荐文章于 2024-03-10 20:40:54 发布

往事随风ing

最新推荐文章于 2024-03-10 20:40:54 发布

阅读量880

点赞数

分类专栏： Spark 文章标签： spark scala

本文链接：https://blog.csdn.net/high2011/article/details/51584668

版权

Spark 专栏收录该内容

133 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文将详细介绍如何利用Apache Spark的Scala API实现经典的PageRank算法，通过分布式计算提升大规模网络链接分析的效率。

摘要由CSDN通过智能技术生成

使用 Spark 实现 PageRank 算法

package com.scala

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
/**
 * scala实现pageRank算法
 * 
 * Computes the PageRank of URLs from an input file. Input file should
 * be in format of:
 * URL         neighbor URL
 * URL         neighbor URL
 * URL         neighbor URL
 * ...
 * where URL and their neighbors are separated by space(s).
 */
object PageRank {
  def main(args:Array[String]):Unit={
      //    if (args.length < 1) {
    //      System.err.println("Usage: SparkPageRank <file> <iter>")
    //      System.exit(1)
    //    }
    val sparkConf = new SparkConf().setAppName("PageRank").setMaster("local[1]")
    val iters = 20;
    //

了解本专栏