Hadoop
GodsLeft
这个作者很懒,什么都没留下…
展开
-
hadoop 网页监控
hadoop 50030端口不可用问题:使用网页监控作业的时候发现50030端口不可用,50070却是可用的。感觉应该是版本的问题,不知道什么版本开始,作业的资源管理器变成了yarn,所以作业的端口变了,变成了8088,应该是这样的,个人yy<!-- mapred-site.xml --><property> <name>mapreduce.framework.name</name>原创 2015-12-30 10:06:31 · 1674 阅读 · 0 评论 -
Hadoop配置小问题
1、非Hadoop用户不能访问hdfs异常信息org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="temp":hadoop:supergroup:rwxr-xr-x解决方案<property> <name>dfs.permission原创 2015-12-20 21:58:50 · 687 阅读 · 0 评论 -
hadoop无法关闭hdfs
问题解释出现这个问题的最常见原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下,linux默认会每隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid两个文件后,namenode自然就找不到datanod原创 2016-03-08 18:04:59 · 1798 阅读 · 0 评论 -
Hadoop日志
运行MapReduce作业时,经常会遇到各种错误,由于缺乏经验,往往不知所云,一般直接将终端打印的错误贴到搜索引擎上查找,以借鉴前人的经验。然而,对于hadoop而言,当遇到错误时,第一时间应是查看日志,日志里通产会有详细的错误原因提示,本文将总结Hadoop MapReduce日志存放位置,帮助初学者定位自己遇到的错误。Hadoop MapReduce日志分为两部分,一部分是服务日志,一部分是作业转载 2016-04-21 10:36:13 · 631 阅读 · 0 评论