![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
ChenBridge
这个作者很懒,什么都没留下…
展开
-
Hadoop的一些经验
datanode启动不了时,考虑删除datanode上的目录 $dfs.data.dirnamenode启动不出时,考虑删除namenode上的目录 $dfs.name.dir,并重新格式化。开启后要等一段时间使服务完全启动,否则命令将没有响应或出错。原创 2011-12-01 23:48:51 · 510 阅读 · 0 评论 -
制作Hadoop虚拟镜像
Google的Hadoop虚拟镜像 Ubuntu-7.04 Java-1.6.0_02 Hadoop-0.13.0http://code.google.com/intl/zh-CN/edu/parallel/tools/hadoopvm/index.html在Google的镜像的基础上,安装新版本的Hadoop即可。1. 取消自启动Hdoop 删除/etc/rc2原创 2011-12-01 23:44:06 · 800 阅读 · 0 评论 -
Hadoop单机模式测试
$ mkdir input$ cp conf/*.xml input$ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'$ cat output/*hadoop-0.20.2 bin/hadoop jar hadoop-0.20.2-examples.jar grep input原创 2011-12-01 23:39:37 · 1062 阅读 · 0 评论 -
Hadoop在Cygwin下的JDK配置
1. hadoop-0.20.2需要Java-1.6或更新的版本2. 路径不能是Windows风格(D:\Program Files\Java\jdk1.6.0_23), 要使用Linux风格(/home/hadoop/jdk1.6.0_26)我的做法: A. 将 JDK 目录 D:\Program Files\Java\jdk1.6.0_26 链接到Cygwin下的 /home/h原创 2011-12-01 23:33:36 · 1251 阅读 · 0 评论 -
Hadoop伪分布式模式测试
# 配置系统conf/core-site.xml: fs.default.name hdfs://localhost:9000 conf/hdfs-site.xml: dfs.replication 1 conf/mapred-site.x原创 2011-12-01 23:41:27 · 653 阅读 · 0 评论 -
Hadoop相关配置
JDK, SSH, core-site.xml, hdfs-site.xml, mapred-site.xml, masters, slaves, hostsJDK hadoop-env.sh: export JAVA_HOME=/home/hadoop/jdk1.6.0_26SSH ssh-keygen -t dsa -P '' -f ~/.ssh原创 2011-12-01 23:46:56 · 441 阅读 · 0 评论