IDEA中Hadoop环境的配置及其相关问题

1.准备搭建hadoop集群的主机

可以参考     Hadoop的安装详解、访问及其相关问题

2.在idea中安装big Data Tools插件

安装方式File->setting->Plugins

安装完成之后重启IDEA生效

3.配置Hadoop环境

 4.测试失败的相关问题

       4.1HADOOP_HOME没有的问题

         

           本地物理机不能直接连接云主机上的Hadoop，如果想要连接，需要本地环境中也要搭建        Hadoop，配置Hadoop的环境。

       4.2 本地配置Hadoop完成后，出现以下问题

        

        bin目录下缺少hadoop.dll和winutils.exe，需要下载相关文件

        4.3当出现以下问题时：

        Exception during driver request: java.util.concurrent.TimeoutException: Timeout(5000) during refreshing connection on HDFS

        首先查看Hadoop相关的服务是否全部启动，不能全部启动的原因可能是多次进行了namenode的初始化，导致配置不一致

        解决方法：修改配置文件或者重新安装Hadoop

        4.4在连接Hadoop时提示路径不存在的问题

        Path hdfs://  :9000/ is not accessible or does not exist

        出现原因：在Hadoop集群搭建完成之后，没有进行创建作业目录的操作

        解决方法：在/home/software/hadoop-3.1.3/tmp/dfs/data/current目录下进行以下操作

hdfs dfs -mkdir -p /data/hadoop