hadoop
Cages
care about your craft
展开
-
hadoop原理浅析及安装
经过几天的测试,hadoop分布式系统搭建完毕。首先说一下这几天对hadoop理论知识的理解,然后说一下安装及碰到的问题。有图有真相http://192.168.0.20:50070/dfshealth.jsp 第一:理论知识: 什么是hadoop: 由三部分组成:HDFS,MapReduce和Hbase。 维基百科这样说:一个分布式系统转载 2012-04-10 16:54:25 · 1168 阅读 · 0 评论 -
Hadoop definitive guide
1. Introduction to HDFS1.1. HDFS Concepts1.1.1. Blocksl HDFS too has the concept of a block, but it is a much larger unit 64 MB by default.l Like in a filesystem转载 2012-05-24 15:02:15 · 1153 阅读 · 0 评论 -
Eclipse连接hadoop
环境配置1、Eclipse 版本 3.62、Hadoop版本 0.20.21、将\hadoop-0.20.2\hadoop-0.20.2\contrib\eclipse-plugin\下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32\eclipse\plugins\下。2、启动eclipse,点击Windo原创 2012-05-24 10:13:28 · 1599 阅读 · 0 评论 -
Hadoop 安装
环境:redhat 4 三台、jdk 6u21、hadoop-0.20.2(1)用root登陆,建立hadoop用户 useradd hadoop passwd hadoop(2)分别在四台机器上运行二进制文件:./jdk-6u21-linux-x64-rpm.bin (3)编辑四台机器的/etc/profile,增加如下内容export JAVA_原创 2012-05-24 10:07:03 · 884 阅读 · 0 评论 -
MapReduce流程分析
MapReduce流程分析接触Hadoop已经1年了,一直没时间好好学习下。这几天打算好好研究下Hadoop.本来是想打算改写下TextInputFormat。看了源码后,反而更迷糊了。所以干脆连MapReduce的整个流程写下来。也当为这几天的学习作个总结。先来一个我们常写的main函数。Configuration conf = new Configuration();转载 2012-05-24 14:34:27 · 637 阅读 · 0 评论 -
HADOOP报错Incompatible namespaceIDs
今早一来,突然发现使用-put命令往HDFS里传数据传不上去了,抱一大堆错误,然后我使用bin/hadoop dfsadmin -report查看系统状态admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/hadoop dfsadmin -reportConfigured Capacity: 0 (0 KB)Present Capaci转载 2012-05-23 15:43:05 · 524 阅读 · 0 评论 -
hadoop Windows下privilegedActionException解决方法
方法1::由于0.20.203.0以后的版本的权限认证引起的,只有去掉才行修改hadoop源代码,去除权限认证,修改FileUtil.java的checkReturnValue方法,如下:private staticvoid checkReturnValue(boolean rv, File p,FsPermissionpermission) throws IOException原创 2012-05-04 16:52:35 · 3845 阅读 · 0 评论 -
hadoop-0.21.0-eclipse-plugin无法在eclipse中运行解决方案
LINUX下将hadoop-0.21自带的hadoop eclipse plugin放到eclipse dropins目录中无法正常运行,使用eclipse -consolelog 发现找不到hadoop的类,解压hadoop-0.21.0-eclipse-plugin.jar发现META-INF下的MANIFEST.MF文 件中,Bundle-ClassPath写的有问题,他写的是/lib/ha转载 2012-04-10 16:55:42 · 1267 阅读 · 0 评论 -
HDFS+MapReduce+Hive+HBase 十分钟快速入门
1. 前言本文的目的是让一个从未接触Hadoop的人,在很短的时间内快速上手,掌握编译、安装和简单的使用。2. Hadoop家族截止2009-8-19日,整个Hadoop家族由以下几个子项目组成:成员名用途Hadoop CommonHadoop体系最底层的一个模块,为Hadoop各子转载 2012-04-10 16:52:13 · 808 阅读 · 0 评论 -
Hadoop节点添加与删除
添加节点1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@转载 2012-08-28 16:33:55 · 997 阅读 · 0 评论