PageRank网页排名算法

最新推荐文章于 2024-07-27 12:26:38 发布
最新推荐文章于 2024-07-27 12:26:38 发布
阅读量492 收藏 2
点赞数
文章标签： 大数据 python 数据结构与算法
原文链接：http://www.cnblogs.com/baoliyan/p/6380676.html
版权

互联网上各个网页之间的链接关系我们都可以看成是一个有向图，一个网页的重要性由链接到该网页的其他网页来投票，一个较多链入的页面会有比较高等级，反之如果一个页面没有链入或链入较少等级则低，网页的PR值越高，代表网页越重要

假设一个有A、B、C、D四个网页组成的集合，B、C、D三个页面都链入到A，则A的PR值将是B、C、D三个页面PR值的总和：

PR(A)=PR(B)+PR(C)+PR(D)

继续上面的假设，B除了链接到A，还链接到C和D，C除了链接到A，还链接到B，而D只链接到A，所以在计算A的PR值时，B的PR值只能投出1/3的票，C的PR值只能投出1/2的票，而D只链接到A，所以能投出全票，所以A的PR值总和应为：

PR(A)=PR(B)/3+PR(C)/2+PR(D)

所以可以得出一个网页的PR值计算公式应为：

其中，Bu是所有链接到网页u的网页集合，网页v是属于集合Bu的一个网页，L(v)则是网页v的对外链接数(即出度)

 

图1-1

 

表1-2 根据图1-1计算的PR值

 

PA(A)

P(B)

PR(C)PR(D)
初始值0.25 0.250.25

 0.25

一次迭代 0.125 0.333 0.083

0.458

二次迭代 0.1665 0.49970.0417

 0.2912

…… ………………

……

n次迭代 0.19990.39990.0666

0.3333

 

 表1-2，经过几次迭代后，PR值逐渐收敛稳定

然而在实际的网络环境中，超链接并没有那么理想化，比如PageRank模型会遇到如下两个问题：

　　1.排名泄露　

　　如图1-3所示，如果存在网页没有出度链接，如A节点所示，则会产生排名泄露问题，经过多次迭代后，所有网页的PR只都趋向于0

图1-3

 

 

PR(A)

PR(B)PR(C)PR(D)
初始值

0.25

0.250.250.25
一次迭代

0.125

0.1250.250.25
二次迭代

0.125

0.1250.1250.25
三次迭代

0.125

0.1250.1250.125
……

……

………………
n次迭代

0

000

 

表1-4为图1-3多次迭代后结果　

　　　2.排名下沉

　　　如图1-5所示，若网页没有入度链接，如节点A所示，经过多次迭代后，A的PR值会趋向于0

　　

图1-5

　

 

PR(A)

PR(B)PR(C)PR(D)
初始值

0.25

0.250.250.25
一次迭代

0

0.3750.250.375
二次迭代

0

0.3750.3750.25
三次迭代

0

0.250.3750.375
……

……

………………
n次迭代

0

………………

表1-5为图1-4多次迭代后结果　

 

 

我们假定上王者随机从一个网页开始浏览，并不断点击当前页面的链接进行浏览，直到链接到一个没有任何出度链接的网页，或者上王者感到厌倦，随机转到另外的网页开始新一轮的浏览，这种模型显然更贴近用户的习惯。为了处理那些没有任何出度链接的页面，引入阻尼系数d来表示用户到达缪戈页面后继续向后浏览的概率，一般将其设为0.85，而1-d就是用户停止点击，随机转到另外的网页开始新一轮浏览的概率，所以引入随机浏览模型的PageRank公式如下：

 

图1-6

代码1-7为根据图1-6建立数据集

root@lejian:/data# cat links 
A       B,C,D
B       A,D
C       D
D       B

 

GraphBuilder步骤的主要目的是建立网页之间的链接关系图，以及为每一个网页分配初始的PR值，由于我们的数据集已经建立好网页之间的链接关系图，所以在代码1-8中只要为每个网页分配相等的PR值即可

代码1-8

package com.hadoop.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class GraphBuilder {

	public static class GraphBuilderMapper extends Mapper<LongWritable, Text, Text, Text> {

		private Text url = new Text();
		private Text linkUrl = new Text();

		protected void map(LongWritable key, Text value, Context context) throws java.io.IOException, InterruptedException {
			String[] tuple = value.toString().split("\t");
			url.set(tuple[0]);
			if (tuple.length == 2) {
				// 网页有出度
				linkUrl.set(tuple[1] + "\t1.0");
			} else {
				// 网页无出度
				linkUrl.set("\t1.0");
			}
			context.write(url, linkUrl);
		};
	}

	protected static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf);
		job.setJobName("Graph Builder");
		job.setJarByClass(GraphBuilder.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		job.setMapperClass(GraphBuilderMapper.class);
		FileInputFormat.addInputPath(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		job.waitForCompletion(true);
	}

}

 

PageRankIter步骤的主要目的是迭代计算PageRank数值，直到满足运算结束条件，比如收敛或达到预定的迭代次数，这里采用预设迭代次数的方式，多次运行该步骤

代码1-9

package com.hadoop.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class PageRankIter {

	private static final double DAMPING = 0.85;

	public static class PRIterMapper extends Mapper<LongWritable, Text, Text, Text> {

		private Text prKey = new Text();
		private Text prValue = new Text();

		protected void map(LongWritable key, Text value, Context context) throws java.io.IOException, InterruptedException {
			String[] tuple = value.toString().split("\t");
			if (tuple.length <= 2) {
				return;
			}
			String[] linkPages = tuple[1].split(",");
			double pr = Double.parseDouble(tuple[2]);
			for (String page : linkPages) {
				if (page.isEmpty()) {
					continue;
				}
				prKey.set(page);
				prValue.set(tuple[0] + "\t" + pr / linkPages.length);
				context.write(prKey, prValue);
			}
			prKey.set(tuple[0]);
			prValue.set("|" + tuple[1]);
			context.write(prKey, prValue);
		};
	}

	public static class PRIterReducer extends Reducer<Text, Text, Text, Text> {

		private Text prValue = new Text();

		protected void reduce(Text key, Iterable<Text> values, Context context) throws java.io.IOException, InterruptedException {
			String links = "";
			double pageRank = 0;
			for (Text val : values) {
				String tmp = val.toString();
				if (tmp.startsWith("|")) {
					links = tmp.substring(tmp.indexOf("|") + 1);
					continue;
				}
				String[] tuple = tmp.split("\t");
				if (tuple.length > 1) {
					pageRank += Double.parseDouble(tuple[1]);
				}
			}
			pageRank = (1 - DAMPING) + DAMPING * pageRank;
			prValue.set(links + "\t" + pageRank);
			context.write(key, prValue);
		};
	}

	protected static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf);
		job.setJobName("PageRankIter");
		job.setJarByClass(PageRankIter.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		job.setMapperClass(PRIterMapper.class);
		job.setReducerClass(PRIterReducer.class);
		FileInputFormat.addInputPath(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		job.waitForCompletion(true);
	}

}

 

 

PageRankViewer步骤将迭代计算得到的最终排名结果按照PageRank值从大到小的顺序进行输出，并不需要reduce，输出的键值对为<PageRank,URL>

代码1-10

package com.hadoop.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class PageRankViewer {

	public static class PageRankViewerMapper extends Mapper<LongWritable, Text, FloatWritable, Text> {

		private Text outPage = new Text();
		private FloatWritable outPr = new FloatWritable();

		protected void map(LongWritable key, Text value, Context context) throws java.io.IOException, InterruptedException {
			String[] line = value.toString().split("\t");
			outPage.set(line[0]);
			outPr.set(Float.parseFloat(line[2]));
			context.write(outPr, outPage);
		};

	}

	public static class DescFloatComparator extends FloatWritable.Comparator {

		public float compare(WritableComparator a, WritableComparable<FloatWritable> b) {
			return -super.compare(a, b);
		}

		public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {
			return -super.compare(b1, s1, l1, b2, s2, l2);
		}
	}

	protected static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf);
		job.setJobName("PageRankViewer");
		job.setJarByClass(PageRankViewer.class);
		job.setOutputKeyClass(FloatWritable.class);
		job.setSortComparatorClass(DescFloatComparator.class);
		job.setOutputValueClass(Text.class);
		job.setMapperClass(PageRankViewerMapper.class);
		FileInputFormat.addInputPath(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		job.waitForCompletion(true);
	}

}

 

 

代码1-11

package com.hadoop.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class PageRankDriver {

	public static void main(String[] args) throws Exception {
		if (args == null || args.length != 3) {
			throw new RuntimeException("请输入输入路径、输出路径和迭代次数");
		}
		int times = Integer.parseInt(args[2]);
		if (times <= 0) {
			throw new RuntimeException("迭代次数必须大于零");
		}
		String UUID = "/" + java.util.UUID.randomUUID().toString();
		String[] forGB = { args[0], UUID + "/Data0" };
		GraphBuilder.main(forGB);
		String[] forItr = { "", "" };
		for (int i = 0; i < times; i++) {
			forItr[0] = UUID + "/Data" + i;
			forItr[1] = UUID + "/Data" + (i + 1);
			PageRankIter.main(forItr);
		}
		String[] forRV = { UUID + "/Data" + times, args[1] };
		PageRankViewer.main(forRV);
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(conf);
		Path path = new Path(UUID);
		fs.deleteOnExit(path);
	}

}

 

运行代码1-11，结果如代码1-12所示

代码1-12

root@lejian:/data# hadoop jar pageRank.jar com.hadoop.mapreduce.PageRankDriver /data /output 10
……
root@lejian:/data# hadoop fs -ls -R /output
-rw-r--r--   1 root supergroup          0 2017-02-10 17:55 /output/_SUCCESS
-rw-r--r--   1 root supergroup         50 2017-02-10 17:55 /output/part-r-00000
root@lejian:/data# hadoop fs -cat /output/part-r-00000
1.5149547       B
1.3249696       D
0.78404236      A
0.37603337      C

 

转载于:https://www.cnblogs.com/baoliyan/p/6380676.html

weixin_30507481
关注
MapReduce 基础算法【PageRank网页排名算法】
To-nemy
08-12 1347
SD
图算法（一）：Pagerank算法（网页排名算法）【适用场景：网页排序、社交网络重点人物发掘等】【一种由搜索引擎根据网页（节点）之间相互的超链接进行计算的技术，用来体现网页（节点）的相关性和重要性】
u013250861的博客
05-28 2463
一、概述 PageRank算法又称网页排名算法，是一种由搜索引擎根据网页（节点）之间相互的超链接进行计算的技术，用来体现网页（节点）的相关性和重要性。 如果一个网页被很多其他网页链接到，说明这个网页比较重要，也就是其PageRank值会相对较高。 如果一个PageRank值很高的网页链接到其他网页，那么被链接到的网页的PageRank值会相应地提高。 适用场景：PageRank算法适用于网页排序、社交网络重点人物发掘等场景。 在实际应用中许多数据都以图（graph）的形式存在，比如，互联网、社交网络都可
PageRank算法完整实现（北邮计算应用编程实验作业）
12-05
完整的实现方案，使用了稀疏矩阵的方式存储，可以实现超大规模页面下的PageRank
谷歌的网页排序算法（PageRank Algorithm）
weixin_33778544的博客
01-04 1159
本文将介绍谷歌的网页排序算法（PageRank Algorithm），以及它如何从250亿份网页中捞到与你的搜索条件匹配的结果。它的匹配效果如此之好，以至于“谷歌”（google）今天已经成为一个被广泛使用的动词了。 如何辨别谁重要 如果你曾建立过一个网页，你应该会列入一些你感兴趣的链接，它们很容易使你点击到其它含有重要、可靠信息的网页。这样就相当于你肯定了你所链接页面的重要性。谷歌的网页排序...
移动UI：排行榜单页面如何设计，从这五点入手，附示例。
最新发布
2401_82616673的博客
07-27 526
排行榜单页面的布局应该清晰明了，可以采用列表的形式展示排行榜内容，同时考虑到移动设备的屏幕大小，应该设计合理的滚动和分页机制，确保用户能够方便地浏览和查看排行榜内容。根据排行榜的类型，可以展示不同的内容，比如应用程序排行榜、游戏排行榜、音乐排行榜等，每一项内容都应该包括相关的信息，比如名称、排名、评分、下载量等。排行榜单页面的视觉设计应该简洁大方，颜色搭配要合理，排版要清晰，同时要考虑到不同设备屏幕的适配，确保在不同尺寸的屏幕上都能够良好地展示。
hadoop上跑一下网页排名算法之PageRank算法
JThirteen的专栏
02-08 630
          也许google当初的PageRank网页排名有着很严密的数学逻辑推导，但在编程的时候实现这种数学推导困难很大，用的更多的是另外一个超级简单的数学公式，同样可以实现将网页排名的目的。   PageRank原理分析             举例来讲 ：        假设每个网页都有一个自己的默认PR值，相当于人为添加给它是一种属性，用来标识网页的等级或者重...
网页排名 page rank
张彤的专栏
08-19 763
社交网站Facebook正极力谋求做大做强，不仅在上月收购社交聚合网站FriendFeed，开发了类似于Twitter的简化版Facebook Lite，此外，还向搜索巨头google发起挑战，开发自己的新实时搜索。请看新华社的报道：Moreover, it has upgraded its search engine functionality, and developed a new
pagerank:页面排名算法
06-08
网页排名 页面排名算法 Google 的 PageRank（100 分） 如下所述实施 Google PageRank 算法。 此问题的输入将是通过邻接列表表示表示的图。 将使用的命令行界面如下。 三个参数中的前两个保存整数值； 最后一个参数是...
java实现网页排名算法
07-27
网页排名算法是搜索引擎技术的核心部分，它通过评估网页之间的相互链接关系来确定网页的重要性，从而决定搜索结果的排序。在本话题中，我们将专注于Java实现PageRank算法的详细过程。 PageRank是由Google创始人拉里...
pagerank.rar_pagerank matlab_pagerank matlab_pagerank算法_排名mat
07-14
pagerank算法是Google创始人拉里·佩奇和谢尔盖·布林提出的一种网页排名算法，它是搜索引擎优化（SEO）中的关键概念。该算法通过分析网页之间的链接结构来评估其重要性，从而对网页进行排序。在本压缩包中，包含了...
PageRank(网页级别)
aeon521730041的博客
08-18 874
它是Google排名运算法则（排名公式）的一部分，是Google用于用来标识网页的等级/重要性的一种方法，是Google用来衡量一个网站的好坏的唯一标准。在揉合了诸如Title标识和Keywords标识等所有其它因素之后，Google通过PageRank来调整结果，使那些更具“等级/重要性”的网页在搜索结果中另网站排名获得提升，从而提高搜索结果的相关性和质量。其级别从1到1...
大数据Hadoop学习之——网页排名PageRank算法
xdkb159的博客
08-21 1512
一、算法说明 PageRank即网页排名，也称佩奇排名（社会）。一些基本概念： 1、网页入链：即投票，网页中对其他网页的超链接作为其他网页的入链，相当于对其他网页投一票； 2、入链数量：如果一个网页获得其他网页的入链数量（投票）越多，说明该网页越重要； 3、入链质量：即投票权值，入链的质量由投票的网页决定，初始化值所有网页都一样，可以设置为1。网页的超链接越多，投票的权值越低。 4、阻尼系数d：也是佩奇定义的一个常数，...
网页排名的迭代过程
XUYH6904的博客
01-10 387
L[j]是页面j的出链数量。公式中的第一项表示随机跳转的贡献，第二项表示其他页面指向页面i的贡献。总体上，PageRank算法通过不断迭代计算每个页面的PageRank值，反映了页面的重要性和影响力。2.迭代计算阶段：在每次迭代中，计算每个页面的PageRank值。1.初始化阶段：为每个页面分配一个初始的PageRank值（通常为1/N，其中N是总页面数），并将所有页面之间的链接关系表示为链接矩阵M。3.迭代收敛阶段：重复进行第二步，直到所有页面的PageRank值不再发生明显变化或达到预设的迭代次数。
数据分析-PageRank-案例
老Liu的博客
03-24 4095
PageRank 实现
网页排名算法 page rank algorithm
dongnihao的博客
03-28 334
关于recall 这个东西的原因，纯粹是想着以后答辩时候，关于工作量统计或者统计模块重要性可以拿出来算一下。
数据处理---之---网页排序算法
csdn_bajie
07-04 5940
一. 网页排序算法 二. 网页排序算法分类 1 基于访问量的排序算法 2 基于词频统计和词语位置加权的排序算法 3 基于链接分析的排序算法 4 基于智能化的排序算法 三. TD-IDF 算法 1 词频(Term Frequency, TF) 2 逆文档频率(Inverse Document Frequency, IDF) 四. BM25算法 五. PageRank 算法 一. 网页排序算法 在能将“包含某关键字的网页迅速查找出来”之后，另一个问题出现..
翻译: 网页排名PageRank算法的来龙去脉 以及 Python实现
AI架构师易筋
08-26 4441
PageRank ( PR ) 是Google 搜索用来在其搜索引擎结果中对网页进行排名的算法。它以“网页”一词和联合创始人拉里佩奇的名字命名。PageRank 是衡量网站页面重要性的一种方法。根据谷歌：PageRank 通过计算页面链接的数量和质量来确定网站重要性的粗略估计。基本假设是更重要的网站可能会收到更多来自其他网站的链接。[1]目前，PageRank 不是谷歌用来排序搜索结果的唯一算法，但它是该公司使用的第一个算法，也是最知名的。......
网页搜索排名算法简介
u012151345的博客
01-25 979
佩奇排名（PageRank）算法是由Google的创始人拉里·佩奇（Larry Page）和谢尔盖·布林（Sergey Brin）在1990年代后期提出的一种用于网页排名的计算方法，它是早期Google搜索引擎的核心组成部分。4. **阻尼因子**：为了避免循环和无限递归问题，并模拟用户可能会跳转至任意网页的行为，算法引入了阻尼因子（通常为0.85），意味着一部分“投票”将分散到整个网络中的所有页面，而不仅仅局限于当前页面直接链接的页面。此外，链接数量也是一个考虑因素，但重要的是质量而非单纯的数量。
PageRank算法详解：Google的网页排名秘密
PageRank算法是Google搜索引擎中的核心技术之一，由Google的联合创始人拉里·佩奇（Larry Page）在1998年提出，用于评估网页的重要性和影响力。这个算法的核心思想是基于互联网上的超链接结构，认为链接到一个网页的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值