hadoop
文章平均质量分 75
square_l
这个作者很懒,什么都没留下…
展开
-
mapreduce-pagerank处理网页出度为0的节点篇
主要思想是借助博客下面博客的内容,其中里面有很多错的,加上自己的深入了解后做了大量改正, 原博客:http://zxxapple.iteye.com/blog/1407199 /** * 主要实现思想是当出度为0的网页,把它的PR值分配给全部的网页: 具体实现每次迭代包括两个Job 第一个分散各个节点的PR值 第二个用于将dangling节点的PR值分散到其它节点 主要包括5个类原创 2013-09-19 14:00:29 · 2134 阅读 · 0 评论 -
hadoop环境配置之配置SSH
A、公钥SSH配置 1、进入用户默认的目录,如root用户默认目录/home/hadoop; shell命令:cd /home/hadoop 2、建立.ssh文件夹 mkdir .ssh 3、进入。ssh目录 cd .ssh/ 4、创建当前用户的ssh登录公钥, ssh-keygen -t rsa 建议别用sudo创建,一路回车即可,这时会在当前目录和/root/.ssh/中生原创 2013-09-19 13:53:30 · 2128 阅读 · 0 评论 -
Hadoop集群_2_Eclipse开发环境设置
忘了转载哪里了,不过这篇文章不错哦 1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:转载 2013-09-19 13:58:30 · 1257 阅读 · 0 评论 -
mapreduce下pagerank算法 自动收敛的算法
input.txt文件输入格式如下: 网页ID 初始PR值 外连接网页ID 1 1 5 3 2 4 2 1 8 3 5 9 3 1 4 4 1原创 2013-09-19 14:04:43 · 3524 阅读 · 0 评论 -
hadoop环境配置之配置hadoop文件
下来进行Hadoop的安装和配置。 下载hadoop-0.20.2.tar.gz到/home/hadoop目录,并解压: tar -vxzf hadoop-0.20.2.tar.gz //解压hadoop到当前目录 解压完后进入/home/hadoop/hadoop-0.20.2/conf目录进行配置。 cd /home/hadoop/hadoop-0.原创 2013-09-19 13:51:08 · 1377 阅读 · 0 评论 -
hadoop环境配置之SSH无密码登陆的配置(备注:转载)
转自:http://www.cnblogs.com/free--coder/archive/2012/03/29/2423083.html 最近学习Hadoop。它要求各节点之间通过SSH无密码登录,配置SSH的时候费了一番功夫,记录下来,以备忘。 配置SSH无密码登录需要3步: 1.生成公钥和私钥 2.导入公钥到认证文件,更改权限 3.测转载 2013-09-19 13:54:52 · 7460 阅读 · 0 评论