hadoop2.5.2学习12-MR之PageRank

一、PageRank是什么

  PageRank的Page可是认为是网页，表示网页排名，也可以认为是Larry Page(google 产品经理)，因为他是这个算法的发明者之一，还是google CEO（^_^）。PageRank算法计算每一个网页的PageRank值，然后根据这个值的大小对网页的重要性进行排序。它的思想是模拟一个悠闲的上网者，上网者首先随机选择一个网页打开，然后在这个网页上呆了几分钟后，跳转到该网页所指向的链接，这样无所事事、漫无目的地在网页上跳来跳去，PageRank就是估计这个悠闲的上网者分布在各个网页上的概率。

二、PageRank原理

入链==投票

  PageRank让链接来进行”投票”, 到一个页面的超链接相当于对该页面投一票

入链的数量

  果一个页面节点接收到其他页面指向的入链越多，那么这个页面越重要

入链的质量

  指向A页面的入链质量不同，质量越高的页面指向A, 会传递更高的权重，如在董事会中， 核心董事成员可能一票相当于10票， 核心董事成员的一票肯定比普通董事成员一票更重要。
PageRank算法刚开始赋予每个网页相同的重要性得分，通过迭代递归计算来更新每个页面节点的PageRank得分，直到得分稳定为止

网络上的各个页面的链接图

PageRank的计算步骤：

  1）在初始阶段：网页通过链接关系构建起链接图，每个页面设置相同的PageRank值，通过若干轮的计算，会得到每个页面所获得的最终PageRank值。随着每一轮的计算进行，网页当前的PageRank值会不断得到更新。

  2）在一轮中更新页面PageRank得分的计算方法：在一轮更新页面PageRank得分的计算中，每个页面将其当前的PageRank值平均分配到本页面包含的出链上，这样每个链接即获得了相应的权值。而每个页面将所有指向本页面的入链所传入的权值求和，即可得到新的PageRank得分。当每个页面都获得了更新后的PageRank值，就完成了一轮PageRank计算。

PageRank的收敛

三、算法实现

原始数据为：

当前节点      出链节点1  出链节点2 
A   B   D

通过迭代计算每个节点的PR值

A   0.9    B      D

3.1、设置节点对象，

每个节点包含内容：

• PR值
• 出链的节点

所以创建一个节点类，具有的属性：

    //每个页面的出事pr值为1.0
    private double pageRank=1.0;
    //该节点的出链指向的节点
    private String[] adjacentNodeNames;

我们为了使用数据输出格式化， 创建一个分割符

    //各个节点的分隔符
    public static final char fieldSeparator = '\t';

重写头String（）， 打印Node的节点信息, 输出成一个字符串
每个节点打印信息:PageRank值 出链节点1 出链节点2 …

    @Override
    public String toString() {//每个节点打印信息:PageRank值       出链节点1      出链节点2   ...
        StringBuilder sb = new StringBuilder();
        sb.append(pageRank);
        if (getAdjacentNodeNames() != null) {
            sb.append(fieldSeparator)
            .append(StringUtils
                    .join(getAdjacentNodeNames(), fieldSeparator));
        }
        return sb.toString();
    }

同时提供一个方法，通过PR值，及出链节点，将字符串信息恢复成一个Node对象。
给定的字符串：PR值 出链节点1 出链节点

    /**
     * @param value  给定一个字符串  value =1.0    B   D 
     * @return      将这个字符串1封装成Node对象。
     */
    public static Node fromMR(String value) throws IOException {
        String[] parts = StringUtils.splitPreserveAllTokens(
                value, fieldSeparator);
        if (parts.length < 1) {
            throw new IOException(
                    "Expected 1 or more parts but received " + parts.length);
        }
        Node node = new Node()
        .setPageRank(Double.valueOf(parts[0]));
        if (parts.length > 1) {
            node.setAdjacentNodeNames(Arrays.copyOfRange(parts, 1,
                    parts.length));
        }
        return node;
    }

节点的完整类Node:

package com.chb.pagerank;
import java.io.IOException;
import java.util.Arrays;
import org.apache.commons.lang.StringUtils;
public class Node {
    //每个页面的出事pr值为1.0
    private double pageRank=1.0;
    //该节点的出链指向的节点
    private String[] adjacentNodeNames;
    //各个节点的分隔符
    public static final char fieldSeparator = '\t';

    public double getPageRank() {
        return pageRank;
    }

    public Node setPageRank(double pageRank) {
        this.pageRank = pageRank;
        return this;
    }

    public String[] getAdjacentNodeNames() {
        return adjacentNodeNames;
    }

    public Node setAdjacentNodeNames(String[] adjacentNodeNames) {
        this.adjacentNodeNames = adjacentNodeNames;
        return this;
    }
    //判断是否有出链节点
    public boolean containsAdjacentNodes() {
        return adjacentNodeNames != null && adjacentNodeNames.length>0;
    }

    @Override
    public String toString() {//每个节点打印信息:PageRank值       出链节点1      出链节点2   ...
        StringBuilder sb = new StringBuilder();
        sb.append(pageRank);
        if (getAdjacentNodeNames() != null) {
            sb.append(fieldSeparator)
            .append(StringUtils
                    .join(getAdjacentNodeNames(), fieldSeparator));
        }
        return sb.toString();
    }

    /**
     * @param value  给定一个字符串  value =1.0    B   D 
     * @return      将这个字符串1封装成Node对象。
     */
    public static Node fromMR(String value) throws IOException {
        String[] parts = StringUtils.splitPreserveAllTokens(
                value, fieldSeparator);
        if (parts.length < 1) {
            throw new IOException(
                    "Expected 1 or more parts but received " + parts.length);
        }
        Node node = new Node()
        .setPageRank(Double.valueOf(parts[0]));
        if (parts.length > 1) {
            node.setAdjacentNodeNames(Arrays.copyOfRange(parts, 1,
                    parts.length));
        }
        return node;
    }
}