Hive加载数据的几种方式

最新推荐文章于 2024-07-29 21:07:19 发布

MrZhangBaby

最新推荐文章于 2024-07-29 21:07:19 发布

阅读量3k

点赞数

分类专栏：大数据 Hive 谈笑间学会大数据文章标签： Hive 多重插入 load insert

本文链接：https://blog.csdn.net/MrZhangBaby/article/details/100118079

版权

本文介绍了Hive加载数据的三种方式：1) load data，包括相对路径、绝对路径和LOCAL选项；2) insert方式，包括插入单条数据、批量插入和分区插入；3) from table的多重插入数据方式，用于提高数据处理效率。详细解释了各种方法的使用场景和注意事项。

摘要由CSDN通过智能技术生成

Hive加载数据的几种方式

1、load data 加载数据方式

2、insert 方式进行加载数据

3、from table 多重插入数据方式

不多bb，主要介绍一下，多重插入数据方式

1、load data 方式

load装载数据

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

说明： Load 操作只是单纯的复制/移动操作，将数据文件移动到 Hive 表对应的位置。
filepath: 相对路径，例如： project/data1
           绝对路径，例如： /user/hive/project/data1
            包含模式的完整 URI，列如：hdfs://namenode_host:9000/user/hive/project/data1
local    关键字如果指定了 LOCAL， load 命令会去查找本地文件系统中的 filepath。如果没有指定 LOCAL 关键字，则根据 inpath 中的 uri 查找文件
   注意：uri 是指 hdfs 上的路径，分简单模式和完整模式两种，例如：
       简单模式： /user/hive/project/data1
       完整模式： hdfs://namenode_host:9000/user/hive/project/data1

overwrite 关键字如果使用了 OVERWRITE 关键字，则目标表（或者分区）中的内容会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突