IDEA远程操作HDFS

IDEA远程管理HDFS

本地环境配置

Windows

1. 解压到本地磁盘

   

2. 配置环境变量

   

   

3. 添加winutils.exe和hadoop.dll

   Hadoop本身对Windows的支持并不友好，如果需要完整使用，需要将winutils.exe和hadoop.dll两个文件移动到%HADOOP_HOME%\bin目录

4. 修改hadoop-env.cmd

   @rem 这个是注释的内容
   @rem 设置JAVA_HOME，使用PROGRA~1表示Program Files文件夹
   set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_311
   

5. 验证

   hadoop version
   

MacOS

1. 解压解包

   tar -zxvf hadoop-3.3.1-aarch64 -C /opt/softwares
   

2. 配置环境变量

   vim ~/.bash_profile
   
   export HADOOP_HOME=/opt/softwares/hadoop-3.3.1
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin
   

3. 验证

   hadoop version
   

IDEA创建Maven工程

pom文件

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.3.1</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.3.1</version>
    </d