Hadoop 日常运维中的一些问题汇总整理

         对于运维需要时刻保证服务的稳定和高可用。以下是一些对Hadoop群集运维过程中遇到的一些问题总结。有包含到大家遇到的可以参考。

    1.  问题1

在集群执行hive脚本时，hive.log报错如下

java.lang.InterruptedException

解决办法：

原因是因为线程在等待过程中长期获取不到资源被终止， 可以通过修改下面的配置进行优化：

dfs.datanode.handler.count（加大）DN的服务线程数。这些线程仅用于接收请求，处理业务命令

dfs.namenode.handler.count（加大）  NN的服务线程数。用于处理RPC请求

2.  问题2

 

ive.log抛出异常信息如下

Error: java.lang.RuntimeException: org.apache.hive.com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: 73

Serialization trace:

colExprMap (org.apache.hadoop.hive.ql.exec.TableScanOperator)

aliasToWork (org.apache.hadoop.hive.ql.plan.MapWork)

解决办法：

原因是hive-exec包的org.apache.hadoop.hive.ql.exec.Utilities中默认使用cloningQueryPlanKryo来存储数据，多线程时覆盖影响的0.13.1的bug，在0.14中已经得到修复，偶发性的数据序列化错误，很难重现， 可以修改hive.plan.serialization.format参数值为javaXML来避免错误，默认是kryo序列化格式，没进行尝试因为问题不容易重新；以下是参考资料 

https://issues.apache.org/jira/browse/HIVE-8688?jql=project in (MAPREDUCE, HIVE, HADOOP, HDFS) AND text ~ "org.apache.hive.com.esotericsoftware.kryo.KryoException" ORDER BY priority DESC

https://issues.apache.org/jira/browse/HIVE-7711?jql=project in (MAPREDUCE, HIVE, HADOOP, HDFS) AND text ~ "org.apache.hive.com.esotericsoftware.kryo.KryoException" ORDER BY priority DESC

3. 问题3

 java.io.IOException: 断开的管道

下面是在执行hive ql时后台报的错误，原因是在datanode上写入文件时，传输管道中断导致失败

可以通过修改下面几个参数对集群读写性能进行优化

dfs.datanode.handler.count（加大）DN的服务线程数。这些线程仅用于接收请求，处理业务命令

dfs.namenode.handler.count（加大）  NN的服务线程数。用于处理RPC请求

dfs.namenode.avoid.read.stale.datanode（true）决定是否避开从脏DN上读数据。脏DN指在一个指定的时间间隔内没有收到心跳信息。脏DN将被移到可以读取(写入)节点列表的尾端。尝试开启

dfs.namenode.avoid.write.stale.datanode（true）  和上面相似，是为了避免向脏DN写数据

4. 问题4

 java.io.EOFException: Premature EOF

文件操作超租期，实际上就是data stream操作过程中文件被删掉了 可以加大这个参数来进行优化dfs.datanode.max.transfer.threads；

参考资料：

https://issues.apache.org/jira/browse/HDFS-4723   http://www.sharpcloud.cn/thread-4927-1-1.html

5. 问题5

Connection reset by peer

java.io.IOException: Connection reset by peer

datanode重置链接   The client is stuck in an RPC to NameNode. Currently RPCs can be wait for a long time if the server is busy.  

可以通过修改下面几个参数来优化

dfs.namenode.handler.count（加大）  NN的服务线程数。用于处理RPC请求

dfs.namenode.replication.interval（减小）  NN周期性计算DN的副本情况的频率，秒

dfs.client.failover.connection.retries（建议加大）  专家设置。IPC客户端失败重试次数。在网络不稳定时建议加大此值

dfs.client.failover.connection.retries.on.timeouts（网络不稳定建议加大）专家设置。IPC客户端失败重试次数，此失败仅指超时失败。在网络不稳定时建议加大此值

参考资料：https://issues.apache.org/jira/browse/HADOOP-3657

6. 问题6

SemanticException Schema of both sides of union should match

2015-08-10 17:22:35,390 ERROR [main]: ql.Driver (SessionState.java:printError(567)) - FAILED: SemanticException Schema of both sides of union should match.

语法错误，使用union查询时查询两个表的内容不同，测试sql时报的错，不是集群作业的，检查hive ql改正即可

7.  问题7 

java.net.SocketTimeoutException

IO超时加大下面俩个参数即可

dfs.datanode.socket.write.timeout （加大）向datanode写入数据超时设置

dfs.client.socket-timeout （加大） dfsclients与集群间进行网络通信的超时设置