hadoop
文章平均质量分 52
童话里的小超人
这个作者很懒,什么都没留下…
展开
-
解决hadoop集群中datanode启动后自动关闭的问题
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID = 240012870; datanode namespac转载 2011-11-14 20:59:03 · 4575 阅读 · 1 评论 -
Hadoop使用常见问题以及解决方法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.conf转载 2012-04-10 22:43:48 · 870 阅读 · 0 评论 -
Hadoop的部署和wordcount样例的运行
部署经验:1.网上资料都强调使用主机名或域名进行部署,使用IP可能会出问题。2.start-all的时候出现Name and service not known,无法启动DataNode。尚未解决。尝试在slaves文件中使用IP或域名。3.出现端口冲突,检查是否有尚未停掉的Hadoop进程。4.start-all的时候显示DataNode已启动,但DataNode未连接,log显原创 2011-11-07 22:50:20 · 947 阅读 · 0 评论 -
hadoop运行wordcount无反应
在主节点上执行“hadoop jar ../hadoop-0.20.2-examples.jar wordcount /tmp/input /tmp/output”后一直无反应像“hadoop fs -ls /tmp”之类的命令没有问题,能够对hdfs进行操作集群中namenode和datanode的namenodeID是一致的,没有问题,不知道问题出在哪里下面是hadoop的配置文件原创 2012-02-23 16:24:55 · 2730 阅读 · 3 评论 -
Hadoop状态页面的Browse the filesystem链接无效的问题
假如需要通过外网IP来连接到服务器集群,通过自己本地的电脑来查看Hadoop集群的运行情况是不合理的,因为服务器集群之间是通过局域网IP通信的,所以本地电脑无法查看Hadoop服务器集群的运行情况,可以通过VNC登录某台服务器节点来查看Hadoop的运行情况。原创 2011-11-07 23:00:44 · 1599 阅读 · 0 评论 -
禁用 SSH 远程主机的公钥检查
SSH 公钥检查是一个重要的安全机制,可以防范中间人劫持等黑客攻击。但是在特定情况下,严格的 SSH 公钥检查会破坏一些依赖 SSH 协议的自动化任务,就需要一种手段能够绕过 SSH 的公钥检查。首先看看什么是 SSH 公钥检查SSH 连接远程主机时,会检查主机的公钥。如果是第一次该主机,会显示该主机的公钥摘要,提示用户是否信任该主机:The authenticity转载 2011-11-28 13:20:42 · 749 阅读 · 0 评论 -
为服务器集群安装Hadoop On Demand
需要为在沙河校区的56台服务器(x101~x156)安装HOD,torque是一个师姐装的,我在一个师兄的带领下,完成了下面的工作,1、为56台服务器实现两两之间无密码登录wumimadenglu.exp#!/usr/bin/expect -fset password 123456for {set i 1} {$i<57} {incr i} { if {$i<10} {原创 2011-11-01 17:07:06 · 811 阅读 · 0 评论 -
hadoop集群管理之 SecondaryNameNode和NameNode
光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其 实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用转载 2011-11-14 21:19:09 · 1215 阅读 · 0 评论 -
Hadoop启动后Jobtracker一直是initializing状态的问题解决
Hadoop启动后,在浏览器中查看Hadoop的运行状态,发现Jobtracker一直是initializing,而HDFS则是正常运行的,解决该问题的方法是将头结点和所有计算节点的iptables关闭,命令为:sudo /etc/init.d/iptables stop原创 2012-11-10 18:53:08 · 1752 阅读 · 0 评论