hive建内部表,导入数据

最新推荐文章于 2024-04-11 15:16:01 发布

黄金万两hjy

最新推荐文章于 2024-04-11 15:16:01 发布

阅读量495

点赞数 9

文章标签： hive hadoop 数据仓库

本文链接：https://blog.csdn.net/weixin_73981368/article/details/134935823

版权

1.建表

create external table if not exists 表名(表的字段表的类型) stored as textfile location '建表的路径';

create external table if not exists weixin(st_message string) stored as textfile location '';

在Hive中，CREATE EXTERNAL TABLE语句用于创建外部表。下面解释一下其中涉及的概念：

External Table（外部表）：外部表是指与表数据的存储位置相分离的表。它们在创建时指定了一个存储位置，但实际数据文件并不由Hive管理。换句话说，外部表的创建不会移动或修改底层数据文件。这使得外部表能够直接访问和查询现有的数据。
STORED AS TEXTFILE：这是用于定义外部表存储格式的子句。在这个例子中，数据以文本文件形式存储。可以根据实际情况选择不同的存储格式，如PARQUET、ORC等。
LOCATION '建表的路径'：LOCATION子句用于指定外部表的数据存储位置。这里的路径是指HDFS或其他支持的文件系统中存储数据文件的目录路径。

综上所述，CREATE EXTERNAL TABLE语句创建了一个外部表，并指定了存储格式和数据位置。通过这种方式，您可以在Hive中对现有的数据进行查询和分析，而无需将数据移动到Hive默认的数据目录中。这对于需要与其他工具共享数据或保留数据的原始位置非常有用。

2上传数据

cd 进入文件里面

ls 查看文件

vi 文件名编写文件

hadoop fs -put 编写的文件上传的文件的路径

外部表和内部表是Hive中用于管理数据的两种不同类型的表。

内部表（Managed Table）：
- 内部表是Hive默认创建的表类型。
- 当创建内部表时，Hive会在指定的数据库中创建一个目录来存储表的数据。
- Hive负责表数据的管理，包括数据的加载、存储和清理。
- 当删除内部表时，Hive会同时删除表的数据。
外部表（External Table）：
- 外部表与内部表相比，外部表的数据不由Hive进行管理，而是存储在指定的位置（比如HDFS中）。
- 创建外部表时需要指定数据的存储位置，但Hive并不负责管理数据文件的生命周期。
- 当删除外部表时，Hive只会删除对元数据的引用，而不会删除实际的数据文件。

总结起来，内部表由Hive管理其数据，而外部表的数据则存储在外部系统中，Hive只是提供了对这些数据的元数据管理功能。选择使用内部表还是外部表取决于您对数据管理和控制的需求，以及是否希望让Hive管理数据的生命周期。

关注