Hive数据操作

最新推荐文章于 2022-06-01 09:50:06 发布

NEO-X

最新推荐文章于 2022-06-01 09:50:06 发布

阅读量392

点赞数

分类专栏：笔记

4 篇文章 0 订阅

订阅专栏

使用LOAD命令装载数据,分别可以从本地和HDFS上进行上传。

使用的命令分别是 LOAD DATA LOCAL INPATH ‘file://local_path’
LOAD DATA INPATH ‘HDFS://hdfs_path’

在本地文件是数据导入到Hive表中，使用 AdventureWorks下的DimAccount表说明，创建数据库和对应的表

CREATE - DB
create-db

LOAD DATA LOCAL 加载数据 , 从本地路径 (相关脚本可以在对应的github项目中下载)

load data

LOAD DATA 加载数据 , 从HDFS上 (相关脚本可以在对应的github项目中下载)

load data

* 首先创建一张和 FactInternetSales一样的表，但其为分区表(以orderdatekey作为分区列，其范围20101229-20140128)： *

partition

单次查询，插入到分区表中(相关脚本可以在对应的github项目中下载)

insert_partion

多次查询，插入到分区表中(相关脚本可以在对应的github项目中下载)

mul_insert

动态插入到分区表中(相关脚本可以在对应的github项目中下载)
对于动态分区功能默认情况下没有开启。开启后以"严格"模式执行，在这种模式下要求至少有一列分区字段是静态的，这有助于阻止因设计错误导致查询产生
大量分区。

mul_partion_insert

使用语句 : CREATE TABLE TABLE_NAME AS SELECT ........

create_insert

如果数据文件恰好是用户需要的格式，那只需要简单拷贝文件夹或文件即可。

hdfs dfs -get  HDFS://path  file://path

关注