Hadoop 问题记录

最新推荐文章于 2019-09-04 23:17:28 发布

weixin_33728268

最新推荐文章于 2019-09-04 23:17:28 发布

阅读量276

点赞数

文章标签： java 运维大数据

原文链接：https://my.oschina.net/cwalet/blog/472569

版权

为什么80%的码农都做不了架构师？>>>

（一）.执行hadoop命令出现警告：

警告：INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这个问题的错误原因会发生在64位的操作系统上，原因是从官方下载的hadoop使用的本地库文件(例如lib/native/libhadoop.so.1.0.0)都是基于32位编译的，运行在64位系统上就会出现上述错误。

虽然不影响结果，但是看着别扭，1.x中这个警告好像是在启动脚本中的，注释掉即可，2.x到了Java代码中：

grep -R 'Unable to load native-hadoop library for your platform' hadoop-2.6.0-src/*

发现是在这个类的static代码中：hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/util/NativeCodeLoader.java

网传的建link或者系统变量的方法都无效，解决方法是在64位环境下重新编译c代码：

# 安装 protobuf
wget -q http://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
tar xf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./autogen.sh
./configure && make && make install
# 安装 maven
wget -q http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz
tar xf apache-maven-3.3.3-bin.tar.gz
mv apache-maven-3.3.3 /usr/local/maven
export PATH=/usr/local/maven/bin/:$PATH
# 编译 Hadoop 源码
wget -q http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.6.0-src.tar.gz
tar xf hadoop-2.6.0-src.tar.gz
cd hadoop-2.6.0-src
mvn package -Dmaven.javadoc.skip=true -Pdist,native -DskipTests -Dtar

由于编译Hadoop2.6依赖于GCC以及protobuf2.5版本，因此要先将其装好。

若编译protobuf时出错：./libtool: line 827: X--tag=CXX: command not found

则将其编译目录下的 libtool 中的 ECHO="echo" 一行，修改为：echo="echo"

参考：http://blog.chinaunix.net/uid-20682147-id-3237633.html

如果protobuf是在github中下载的，可能没有包含gtest，下载后将其解压放入protobuf/gtest/ 目录即可。

编译好Hadoop 后即可在 hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0/lib/native/ 目录下找到lib文件。

另外的办法是直接修改Java代码中的日志级别和输出后编译打包。推荐是编译native-lib，效率会更高。

除了警告之外，在执行start-dfs.sh 或 start-all.sh时也可能会报错：

Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now...

错误原因是相同的。

参考：Hadoop的本地库（Native Libraries）介绍、Native Libraries Guide

Hadoop “Unable to load native-hadoop library for your platform” error on CentOS

（二）.Hbase启动报错：

ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting

执行 /usr/local/hbase/bin/start-hbase.sh 启动后自动关闭，但是在每一台slave上执行：

/usr/local/hbase/bin/hbase-daemon.sh start regionserver

又可以正常启动，仔细观察，发现是master与slave时间不一致，启用NTP后即可正常启动：

yum -y install crontabs ntpdate
echo '0 0 * * * /usr/sbin/ntpdate -u ntp.api.bz > /dev/null 2>&1' > /var/spool/cron/root
/etc/init.d/crond restart
hostsId={2..6}
eval eval \"scp /var/spool/cron/root slave-\"$hostsId\":/var/spool/cron/\;\"

（三）.Yarn执行任务报错：

Diagnostics: Container [..] is running beyond virtual memory limits. Current usage: 77.5 MB of 256 MB physical memory used; 1.6 GB of 537.6 MB virtual memory used. Killing container.

很明显是虚拟内存swap设定不足，但是无奈主机硬件有限，在测试环境上可以尝试关闭内存检测，在 yarn-site.xml 中加入以下配置：

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>虚拟内存检测</description>
</property>

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
    <description>物理内存检测</description>
</property>

如果遇到MapReduce内存问题：

failed with state KILLED due to: MAP capability required is more than the supported max container capability in the cluster

则在 mapred-site.xml 中加入以下配置修改单个Map或Reduce的内存上限：

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
</property>

参考：Container is running beyond memory limits、hive查询hdfs数据时，遇到的两个hadoop配置问题、

https://github.com/cloudera/oryx/wiki/FAQ-and-Troubleshooting

（四）.NodeManager启动时报错：

Container launch failed for container_1433837639155_0001_01_000004 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

在 yarn-site.xml 中加入以下配置：

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property>

参数解释：NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序

参考：Hadoop YARN配置参数剖析(1)—RM与NM相关参数

（五）.Sqoop导入MySQL数据报错：

Error: java.io.IOException: Cannot run program "mysqldump": error=2, No such file or directory

原因加上了“--direct”参数后会使用 mysqldump 导出，然而部分slave上没有该程序，yum安装即可：

yum -y remove MySQL-client
yum -y install mysql

（六）.YARN警告：

WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: NodeManager configured with 8 G physical memory allocated to containers, which is more than 80% of the total physical memory available (1.8 G). Thrashing might happen.

原因：物理内存不足，超过YARN默认值，而YARN不会动态监测实际的内存大小，

注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

解决：编辑 $HADOOP_HOME/etc/hadoop/yarn-site.xml，加入以下配置：

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>256</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>1024</value>
</property>

以上三个参数分别表示：“该节点上YARN可使用的物理内存总量”、“单个任务可申请的最少物理内存量”、“单个任务可申请的最大物理内存量”，

默认值分别是：8192，1024，8192，值配置单位是M。

参考：Hadoop YARN中内存和CPU两种资源的调度和隔离、yarn-default.xml

（七）.HDFS警告：

WARN org.apache.hadoop.hdfs.server.common.Util: Path /data/hdfs/data should be specified as a URI in configuration files. Please update hdfs configuration.

原因：Hadoop2.x及以上会有该提示，路径名必须加“file:”前缀。

解决：编辑 $HADOOP_HOME/etc/hadoop/hdfs-site.xml，将属性 dfs.namenode.name.dir 及 dfs.datanode.data.dir的值加上“file:”

转载于:https://my.oschina.net/cwalet/blog/472569