hive创建分区表,并且加载hdfs的数据到表中

创建表

drop table if exists ods_order_info;
create external table ods_order_info (
    `id` string COMMENT '订单号',
    `consignee` string COMMENT '收货人',
    `consignee_tel` string COMMENT '收件人电话',`final_total_amount` decimal(16,2) COMMENT '订单金额',`order_status` string COMMENT '订单状态',
    `user_id` string COMMENT '用户id',`delivery_address` string COMMENT '送货地址',`order_comment` string COMMENT '订单备注',`out_trade_no` string COMMENT '支付流水号',`trade_body` string COMMENT '订单描述(第三方支付用)',`create_time` string COMMENT '创建时间',
`operate_time` string COMMENT '操作时间',
`expire_time` string COMMENT '失效时间',
`tracking_no` string COMMENT '物流单编号',
`parent_order_id` string COMMENT '父订单编号',
`img_url` string COMMENT '图片路径',
`province_id` string COMMENT '省份ID',
`benefit_reduce_amount` decimal(16,2) COMMENT '优惠金额',
`original_total_amount` decimal(16,2)  COMMENT '原价金额',
`feight_fee` decimal(16,2)  COMMENT '运费'
) COMMENT '订单表'
PARTITIONED BY (`dt` string) --创建分区
row format delimited fields terminated by '\t' -- 指定分割符为\t 
location '/data/hive/gmall/order_info/' -- 指定数据在hdfs上的存储位置,此路径会在hdfs中生成
;

创建分区

alter table ods_order_info add if not exists partition(dt='2021-04-17') location '2021-04-17';

加载hdfs的数据到hive表中 (方法一)

这里的数据是我之前就存在的了,没有数据的话可以自己造,这个不难,但是用这种方法的话,原来hdfs的文件,会被移动到/data/hive/gmall/order_info/这个目录下面,源文件消失。

load data INPATH '/data/sqoop/gmall/db/order_info/2021-04-17/part-m-00000.gz' overwrite into table ods_order_info PARTITION (dt='2021-04-17');

hive表的数据路径直接就指定hdfs路径 (方法二)

在原来创建表的语句中的location 的路径,直接改成hdfs源文件所在路径。

location '/data/sqoop/gmall/db/order_info'

因为我们建的是分区表,所以要创建一个分区

alter table ods_order_info add if not exists partition(dt='2021-04-17') location '2021-04-17';

查询

select * from ods_order_info where dt = '2021-04-17';

自学大数据的路中,建了一个交流群,678513209。有转大数据的小伙伴,加群一起交流

  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,您可以使用以下步骤来查看HDFSHive数据仓库中的分区表的所有分区和部分分区数据: 1. 首先需要进入到HDFS的命令行界面,可以使用以下命令: ```shell hdfs dfs -ls / ``` 该命令可以列出HDFS根目录下的所有文件和目录。如果您已经知道Hive数据仓库在HDFS上的具体路径,可以直接进入该目录;否则可以使用以下命令查找: ```shell hdfs dfs -ls -R / | grep -i "hive" ``` 该命令会递归地列出HDFS根目录下所有包含"hive"关键字的文件和目录,包括Hive数据仓库所在的目录。 2. 进入到Hive数据仓库所在的目录,例如: ```shell cd /user/hive/warehouse/ ``` 该命令会进入到Hive数据仓库所在的目录,该目录下的子目录对应了不同的Hive。 3. 进入到您需要查看的分区表所在的目录,例如: ```shell cd log_data_partitioned/ ``` 该命令会进入到log_data_partitioned分区表所在的目录,该目录下的子目录对应了不同的分区。 4. 使用以下命令查看所有分区的信息: ```shell hdfs dfs -ls . ``` 该命令会列出当前目录下的所有子目录,每个子目录对应了一个分区,并以分区键值命名。例如,如果您的分区键为"date",则每个子目录的名称应该类似于"date=20220101"。 5. 如果您需要查看某个分区的数据,可以进入到该分区所在的目录,例如: ```shell cd date=20220101/ ``` 该命令会进入到"date=20220101"分区所在的目录。 6. 使用以下命令查看该分区的部分数据: ```shell hdfs dfs -cat part-m-00000 | head ``` 该命令会显示该分区中第一个数据文件(part-m-00000)的前几行数据。您可以根据需要修改该命令来查看更多的数据,或者使用其他工具(例如Hive或者Spark)来查询和分析分区表中的数据

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值