Hadoop 教程 - Hadoop HDFS REST HTTP API

Hadoop HDFS除了原生的Java API外，还提供了一套RESTful HTTP API，称为WebHDFS，允许用户通过HTTP请求直接与HDFS交互。这为那些非Java环境或者希望以更通用方式与HDFS集成的应用程序提供了便利。以下是使用HDFS REST HTTP API的一些关键点：

WebHDFS简介

WebHDFS是HDFS的一个可选模块，它提供了一组REST API，使得客户端可以通过HTTP协议执行大部分HDFS操作，如创建、读取、写入、删除文件或目录等。这意味着你可以使用任何能够发起HTTP请求的工具或语言（如Python、JavaScript、curl等）来与HDFS交互。

基本操作

WebHDFS API支持的操作大致可分为四类：GET、PUT、POST和DELETE，对应HTTP的同名方法。以下是一些核心操作的简述：

1. 读取文件：

   • 使用GET方法，通过特定的URL和参数来读取文件内容。
   • 示例：http://namenode:port/webhdfs/v1/path?op=OPEN

2. 创建文件：

   • 两步过程，首先使用PUT方法发起一个请求来创建文件（不发送数据）。
   • 然后，根据返回的Location头中的URL，使用另一个PUT请求来写入文件数据。

3. 写入文件：

   • 在创建文件请求得到响应后，使用接收到的URL进行数据的PUT操作。

4. 创建目录：

   • 使用PUT方法，指定操作为MKDIRS。

5. 删除文件或目录：

   • 使用DELETE方法，指定操作为DELETE。

6. 列出目录内容：

   • 使用GET方法，操作为LISTSTATUS。

安全性

在安全模式下，WebHDFS请求可能需要携带额外的认证信息，比如 Kerberos 凭证或令牌。

配置与使用

要使用WebHDFS，首先需要确保Hadoop集群已经启用了WebHDFS服务，并正确配置了相关设置（如端口、认证方式等）。然后，通过构造合适的HTTP请求，包括正确的操作参数、路径和必要的HTTP头部，即可与HDFS进行交互。

注意事项

• 确保Hadoop集群版本与WebHDFS的使用相匹配，因为不同版本间可能存在API差异。
• 对于大数据量传输，需要考虑网络状况和HTTP请求的限制，合理设计请求和数据处理逻辑。
• 考虑使用现有的客户端库或封装库（如Python的hdfs3或hadoop-python），这些库可以简化与WebHDFS的交互。

通过掌握HDFS的REST HTTP API，开发者能够更加灵活地集成HDFS到各种应用程序中，无论这些应用是运行在何种平台或使用何种编程语言。