hadoop 错误合集

有关ZKFC的问题

FATAL ha.ZKFailoverController: Automatic failover is not enabled for NameNod
e at node1/192.168.80.112:8020. Please ensure that automatic failover is enabled in the configuration before running the ZK failover controller.

配置 hdfs-site 时 添加条目

<property> 
<name>dfs.ha.automatic-failover.enabled.mycluster</name> 
<value>true</value> 
</property> 

HA搭建过程中，执行sbin/hadoop-daemon.sh start zkfc 后，jps看不到DFSZKFailoverController进程

修改如下hdfs-site.xml：

dfs.ha.fencing.methods sshfence

shell(/bin/true)

重启zkfc，问题解决。

有关idea maven 开发hadoop（windown）

使用idea 时，报错找不带java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binary

需要在window 本地配置 hadoop 源文件，并配置环境变量。

未识别 hdfs文件系统

java.io.IOException: No FileSystem for scheme: hdfs 表示没有配置 hdfs 的类引用

在 core-site.xml中配置

fs.hdfs.impl
org.apache.hadoop.hdfs.DistributedFileSystem
The FileSystem for hdfs: uris.

导入hdfs包 未发现

java.lang.ClassNotFoundException: Class org.apache.hadoop.hdfs.DistributedFileSystem not found
可能是 maven 的hadoop-hdfs 的依赖没有安装 或者没有下载完整 （笔者就是后者 ，结果用了四个小时进行纠错 哈哈哈）

使用hdfs文件系统出错

Unrecognized option: -dfs
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

命令输入出错
将
hdfs -dfs -mkdir /data
改为
hdfs dfs -mkdir /data

failover.proxy.provider 配置出错

mkdir: Couldn’t create proxy provider null

在hdfs-site 中添加 如下条目，或者修改如下内容

dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverP
roxyProvider

zookeeper无法互相识别

[root@localhost ~]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/bigdata/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Error contacting service. It is probably not running.
关闭防火墙

systemctl stop firewalld

hadoop处于安全模式

18/01/12 09:04:34 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
rm: Cannot delete /spark/data/netflow/201801120325.txt. Name node is in safe mode.
hadoop 处于安全模式 。
hadoop dfsadmin -safemode leave