PageRank算法及MapReduce实现

PageRank算法作为谷歌搜索引擎的重要排序方式,采用随机跳转的模拟思想。在大数据时代,利用MapReduce进行实现变得常见。本文详细阐述PageRank算法,并提供在hadoop streaming环境下的实现步骤,包括mapper和reducer的Python脚本以及执行脚本。
摘要由CSDN通过智能技术生成

PageRank算法是谷歌搜索引擎首创网页重要性排序的重要的算法,其原理比较通俗易懂,大数据背景下基于MapReduce的实现更是成为了常态,本文给出PageRank算法详细介绍,以及通过hadoop streaming环境的实现。
1. PageRank算法原理
PageRank的核心思想是模拟一个悠闲的上网者,在网页上随机跳转。
2. 陷阱问题
3. MapReduce实现
3.1 pr_mapper.py

#!/usr/bin/env python
from __future__ import division
import sys
from decimal import *
getcontext().prec = 100

alpha = Decimal(0.8)
#load last round page rank value
pr_values = {}
nodeNums = 0
for line in open('tmp.txt'):
   infos = line.strip().split('\t')
   pr_values[infos[0]] = Decimal(infos[1].strip())
   nodeNums += 
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值