hadoop
文章平均质量分 75
square_l
这个作者很懒,什么都没留下…
展开
-
mapreduce-pagerank处理网页出度为0的节点篇
主要思想是借助博客下面博客的内容,其中里面有很多错的,加上自己的深入了解后做了大量改正,原博客:http://zxxapple.iteye.com/blog/1407199/** * 主要实现思想是当出度为0的网页,把它的PR值分配给全部的网页:具体实现每次迭代包括两个Job第一个分散各个节点的PR值第二个用于将dangling节点的PR值分散到其它节点主要包括5个类原创 2013-09-19 14:00:29 · 2147 阅读 · 0 评论 -
hadoop环境配置之配置SSH
A、公钥SSH配置1、进入用户默认的目录,如root用户默认目录/home/hadoop;shell命令:cd /home/hadoop2、建立.ssh文件夹mkdir .ssh3、进入。ssh目录cd .ssh/4、创建当前用户的ssh登录公钥,ssh-keygen -t rsa建议别用sudo创建,一路回车即可,这时会在当前目录和/root/.ssh/中生原创 2013-09-19 13:53:30 · 2135 阅读 · 0 评论 -
Hadoop集群_2_Eclipse开发环境设置
忘了转载哪里了,不过这篇文章不错哦1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:转载 2013-09-19 13:58:30 · 1258 阅读 · 0 评论 -
mapreduce下pagerank算法 自动收敛的算法
input.txt文件输入格式如下:网页ID 初始PR值 外连接网页ID1 1 5 3 2 4 2 1 8 3 5 9 3 1 4 4 1原创 2013-09-19 14:04:43 · 3525 阅读 · 0 评论 -
hadoop环境配置之配置hadoop文件
下来进行Hadoop的安装和配置。下载hadoop-0.20.2.tar.gz到/home/hadoop目录,并解压:tar -vxzf hadoop-0.20.2.tar.gz //解压hadoop到当前目录解压完后进入/home/hadoop/hadoop-0.20.2/conf目录进行配置。cd /home/hadoop/hadoop-0.原创 2013-09-19 13:51:08 · 1379 阅读 · 0 评论 -
hadoop环境配置之SSH无密码登陆的配置(备注:转载)
转自:http://www.cnblogs.com/free--coder/archive/2012/03/29/2423083.html最近学习Hadoop。它要求各节点之间通过SSH无密码登录,配置SSH的时候费了一番功夫,记录下来,以备忘。配置SSH无密码登录需要3步: 1.生成公钥和私钥 2.导入公钥到认证文件,更改权限 3.测转载 2013-09-19 13:54:52 · 7461 阅读 · 0 评论