Hadoop出现的错误及处理

1.local host is: (unknown); destination host is: "yun-ubuntu":8031;

原因：yun-ubuntu这个host 并不能ping通

  $ ping yun-ubuntu
  $ SHUTDOWN_MSG: Shutting down NodeManager at localhost/127.0.0.1

解决办法：

    $ vi /etc/hosts
    增加127.0.0.1的映射

2.多次初始化NameNode导致DataNode启动失败

datanode的clusterID 和 namenode的clusterID 不匹配

3.默认进入safemode ,由于块错误率阈值太高

进入saftmode解决方案

异常：Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe not found

原因：hive找不到正则的包 hive-contrib-x.x.x.jar
解决：临时配置包路径 add jar /opt/softwares/hive-1.2.2/lib/hive-contrib-1.2.2.jar，永久配置路径

hive.aux.jars.path
file:///opt/softwares/hive-1.2.2/lib/hive-contrib-1.2.2.jar
Added by tiger.zeng on 20120202.These JAR file are available to all users for all jobs

异常：No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy

原因：版本不同包名改变？
解决：重新创建子表
("orc.compress"="snappy") --> ("orc.compression"="snappy")

腾讯云namenode启动失败

原因：hopsts中无法绑定公网IP地址，本机地址需要用内网IP

转载于:https://www.cnblogs.com/cenzhongman/p/7050635.html