（七）Hadoop 3.3.0学习——HDFS

一、准备工作

1. 环境配置

1.1 解压hadoop安装包

在服务器的/usr/local/hadoop目录下进行解压

tar -zxvf hadoop-3.3.0.tar.gz

1.2 配置环境变量

1.2.1 配置hadoop环境变量

打开Linux系统配置：

vim /etc/profile
source /etc/profile

在末尾添加下面内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.0
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

1.2.2 配置网络映射

vi /etc/hosts

添加下面内容，后面直接用hadoop代表该主机

192.168.***.*** hadoop

1.2.3 生成公私钥

生成公私钥：

ssh-keygen -t rsa

将公钥拷贝到所有hadoop节点，我这里只有一个节点

ssh-copy-id hadoop

2. HDFS配置

在hadoop-3.3.0/etc/hadoop文件目录下进行修改

2.1 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-3.3.0/hadoop-tmp</value>
    </property>
</configuration>

2.2 hdfs-site.xml

由于我没有搭集群，只部了一个HDFS服务，所以备份数量是1

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

2.3 hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_261

3 启动脚本配置

在hadoop-3.3.0/sbin目录下进行配置

3.1 start-dfs.sh、stop-dfs.sh

添加以下内容：

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

建议同时将start-yarn.sh和stop-yarn.sh也添加如下配置，避免以后遗忘：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

4 启动HDFS

由于更改了hadoop.tmp.dir的目录，所以初次启动需要先格式化一下：

hdfs namenode -format

启动HDFS：

start-dfs.sh

5. 访问Web页面

访问服务器的xxx.xxx.xxx.xxx:9870地址，查看HDFS的详细情况。

二、HDFS Java基本操作

1. Maven依赖

  <properties>
    <hadoop.version>3.3.0</hadoop.version>
  </properties>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>${hadoop.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>${hadoop.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
    </dependency>

2. 基本操作

在服务器上通过shell命令进行HDFS操作的用法这里就不多说了，下面是用Java代码进行HDFS的基础操作，其他操作类似

2.1 初始化文件系统

    /**
     * HDFS文件系统
     */
    private FileSystem fileSystem;

    /**
     * 初始化文件系统
     * @throws URISyntaxException
     * @throws IOException
     */
    @Before
    public void before() throws IOException {

        // Windows环境中运行需要设置Hadoop用户名为root，否则会报错权限不足
        System.setProperty("HADOOP_USER_NAME", "root");

        // 对HDFS进行配置
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.***.***:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        fileSystem = FileSystem.newInstance(conf);

    }

    /**
     * 关闭资源
     */
    @After
    public void close(){
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

2.2 上传文件

    /**
     * 创建目录，上传文件
     * @throws URISyntaxException
     * @throws IOException
     */
    @Test
    public void testUpload() throws URISyntaxException, IOException {
        Path dst = new Path("/wordCount");
        fileSystem.mkdirs(dst);
        fileSystem.copyFromLocalFile(new Path(HdfsTest.class.getClassLoader().getResource("word.txt").toURI()), dst);
    }

2.3 查询文件列表

    /**
     * 打印文件列表
     * @throws IOException
     */
    @Test
    public void testListFile() throws IOException {
        RemoteIterator<LocatedFileStatus> iter = fileSystem.listFiles(new Path("/"), true);
        while (iter.hasNext()) {
            LocatedFileStatus next = iter.next();
            System.out.println(next.getPath());
        }
    }

打印结果如下：

hdfs://192.168.***.***:9000/wordCount/word.txt

三、总结

目前基于Hadoop 3.3.0版本，已经可以通过java来进行HDFS的基础操作了，为下一步的Hadoop处理做好了铺垫。