给大家整理了一些有关【HDFS,Hive,F】的项目学习资料（附讲解～～）：

 https://edu.51cto.com/course/31545.html

 https://edu.51cto.com/course/27963.html

使用Hive读取HDFS文件内容并存入表中的完整指南

在大数据处理中，Apache Hive 是一个非常重要的数据仓库工具，可以帮助我们方便地管理和分析存储在 Hadoop Distributed File System (HDFS) 中的数据。本文将引导你如何将 HDFS 中的文件内容读取并存入 Hive 表中。以下是操作的整体流程：

总体流程

步骤描述
1确保已经安装了 Hadoop 和 Hive。
2将数据文件上传到 HDFS。
3在 Hive 中创建目标表。
4使用 HiveQL 将数据从 HDFS 导入到 Hive 表中。
5验证数据是否成功导入。

详细步骤

步骤 1: 确保环境已准备好

在开始之前，确保你的系统已经安装了 Hadoop 和 Hive，并且它们能够正常运行。

步骤 2: 将数据文件上传到 HDFS

使用 HDFS 命令将数据文件上传到 HDFS 中。

命令示例：

hadoop fs -put local_path/to/your_file.txt /user/hive/warehouse/
  • 1.

注释：

  • hadoop fs -put 是一个将本地文件上传到 HDFS 的命令。
  • local_path/to/your_file.txt 是你本地的文件路径，/user/hive/warehouse/ 是你希望将文件放置的 HDFS 目录。
步骤 3: 在 Hive 中创建目标表

在 Hive 中创建一个表来接收从 HDFS 导入的数据。

HiveQL 示例：

CREATE TABLE IF NOT EXISTS your_table_name (
    column1 STRING,
    column2 INT,
    column3 FLOAT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.

注释：

  • CREATE TABLE IF NOT EXISTS your_table_name 创建一个新表，如果表已存在则不重新创建。
  • column1 STRING, column2 INT, column3 FLOAT 是表的列及其数据类型。
  • ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 指定用制表符（tab）分隔列。
  • STORED AS TEXTFILE 表明该表将以文本文件格式存储。
步骤 4: 使用 HiveQL 将数据从 HDFS 导入到 Hive 表中

使用 HiveQL 将数据从 HDFS 导入到刚才创建的表中。

HiveQL 示例：

LOAD DATA INPATH '/user/hive/warehouse/your_file.txt' INTO TABLE your_table_name;
  • 1.

注释：

  • LOAD DATA INPATH 用于加载指定路径的数据。
  • '/user/hive/warehouse/your_file.txt' 是你在 HDFS 中的数据文件路径。
  • INTO TABLE your_table_name 指定将数据导入的 Hive 表。
步骤 5: 验证数据是否成功导入

可以使用如下查询来验证数据是否成功导入：

SELECT * FROM your_table_name LIMIT 10;
  • 1.

注释：

  • SELECT * FROM your_table_name 查询表中的所有数据。
  • LIMIT 10 限制输出结果为前十条记录。

结果图示

类图
HDFS + String filePath +uploadFile() +deleteFile() Hive + String tableName +createTable() +loadData() +queryData()
饼状图
数据导入流程 20% 20% 40% 20% 数据导入流程 上传文件到 HDFS 创建 Hive 表 从 HDFS 导入数据 验证数据

总结

通过以上步骤，我们详细介绍了如何使用 Hive 读取 HDFS 文件内容并将其存储到表中。从准备环境到加载数据，每一步都有对应的代码示例和注释，方便初学者理解与实施。希望这篇文章能够帮到你，让你在大数据的世界中越走越远！如有任何问题，随时可以查阅 Hive 和 Hadoop 的官方文档，或个人寻找相关资料。祝你编码愉快！