Hadoop基础运维
文章平均质量分 77
「已注销」
分享价值,记录点滴!
展开
-
Hadoop详细配置
目录第1章 概要说明41.1 Hadoop是什么?41.2 为什么选择CDH版本?41.3 集群配置环境41.4 网络结构图5第2章 安装hadoop环境62.1 准备安装包62.2 默认用户组root:root62.3 卸载自带的jdk62.4 安装和配置jdk环境62.5 配置/etc/hosts62.6 配置ssh无密码登陆72.7 处转载 2016-02-24 12:07:03 · 1727 阅读 · 0 评论 -
hadoop 集群常见错误解决办法
hadoop 集群常见错误解决办法:(一)启动hadoop集群时易出现的错误:1. 错误现象:java.net.NoRouteToHostException: No route to host. 原因:master服务器上的防火墙没有关闭。 解决方法: 在master上关闭防火墙: chkconfig iptables off转载 2016-02-24 14:12:58 · 4948 阅读 · 0 评论 -
Hadoop Namenode不能启动 dfs/name is in an inconsistent
Hadoop Namenode不能启动 dfs/name is in an inconsistent前段时间自己的本机上搭的Hadoop环境(按文档的伪分布式),第一天还一切正常,后来发现每次重新开机以后都不能正常启动,在start-dfs.sh之后jps一下发现namenode不能正常启动,按提示找到logs目录下namenode的启动log发现如下异常原创 2016-02-24 14:11:58 · 6147 阅读 · 3 评论 -
Hadoop 三台主机 集群搭建 详解(测试)
Hadoop 三台主机 集群搭建 详解学习更多,请访问系列文章:1. VMware Redhat网络配置2. Hadoop 三台主机 集群搭建 详解3. Windows 下配置 Eclipse 连接 Hadoop 开发环境部署环境:OS:Redhat 5.5 EnterpriseJDK:jdk1.6.0_32Hadoop:Hadoop-0.2转载 2016-02-24 14:10:24 · 548 阅读 · 0 评论 -
Hadoop开启、关闭调试信息方法
Hadoop开启关闭调试信息 开启:export HADOOP_ROOT_LOGGER=DEBUG,console关闭:export HADOOP_ROOT_LOGGER=INFO,console实时查看和修改Hadoop日志级别Hadoop的日志界面可以通过Hadoop命令和Web界面来修改。Hadoop命令格式:ha原创 2016-02-24 14:09:29 · 7209 阅读 · 0 评论 -
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-ja
hadoop本地库与系统版本不一致引起的错误解决方法 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-ja一、运行环境:ubuntu-12.04 eclipse-4.2 hadoop-1.1.1二、问题在eclipse中原创 2016-02-24 14:08:06 · 3257 阅读 · 0 评论 -
hadoop 日常错误解决方法整理
hadoop 日常错误整理 ====描述hive 执行show tables; Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.unset(Ljava/lang/String;)V转载 2016-02-24 12:14:17 · 1349 阅读 · 1 评论 -
Warning: $HADOOP_HOME is deprecated.的原因以及解决方法
今天把hadoop从0.20.2版本升级到1.2.1版本之后,在很多时候都会报如下警告:Warning: $HADOOP_HOME is deprecated. 其实我刚看到这个警告的时候,第一反应并不是怎么屏蔽掉它,而是想知道Apache为什么准备废弃掉HADOOP_HOME这个环境变量,因为我们知道,后面好多地方都会用到这个环境变量。 在Google原创 2016-02-24 12:13:02 · 725 阅读 · 0 评论 -
Linux找不到主机名解决办法
Linux找不到主机名解决办法[root@mas eclipse-plugin]# ant -Declipse.home=/path/to/eclipse -Dversion=1.2.1 -Dcommons-cli.version=1.2Buildfile: /root/bin/hadoop-1.2.1/src/contrib/eclipse-plugin/build.xml原创 2016-02-24 12:10:26 · 3226 阅读 · 0 评论 -
eclipse连接远程hadoop集群开发时报错
eclipse连接远程hadoop集群开发时报错Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=d, access=WRITE, inode="data":zxg:supergroup:rwxr-xr-x at org.转载 2016-02-24 12:09:35 · 369 阅读 · 0 评论 -
bash: hadoop: command not found
输入[root@localhost bin]# hadoop fs -ls / 报bash: hadoop: command not found 这个错误需要将hadoop/bin路径加入PATH,配置环境变量[root@localhost bin]# vi ~/.bash_profile 打开文件,添加hadoop的bin路径到path中PATH=$PATH:$HO原创 2016-02-24 12:08:49 · 4097 阅读 · 2 评论 -
localhost: Error: JAVA_HOME is not set. [Hadoop] Error: JAVA_HOME is not set
localhost: Error: JAVA_HOME is not set. 在namenode启动脚本%Hadoop_HOME%/bin/start-dfs.sh的时候发现datanode报错:Error: JAVA_HOME is not set原因是在%HADOOP_HOME%/conf/hadoop-env.sh内缺少JAVA_HOME的定义,只原创 2016-02-24 12:08:04 · 1211 阅读 · 0 评论 -
Hadoop-1.2.1 Eclipse开发环境配置
记得早在Hadoop 0.20.2版本的时候,在$HADOOP_HOME/contrib/eclipse-plugin目录下直接就有一个hadoop-eclipse-luging-0.20.2.jar的包,我们只需要将这个包放到$ECLIPSE_HOME/plugins目录下,然后重启Eclipse即可。 前一段换成了Hadoop 1.2.1版本,在搭建Eclips转载 2016-02-24 14:17:31 · 394 阅读 · 0 评论