shell脚本 hive 批量导入文件到hdfs 分区

最新推荐文章于 2022-10-13 23:31:36 发布

qq_42078469

最新推荐文章于 2022-10-13 23:31:36 发布

阅读量753

点赞数 3

分类专栏：学习文章标签：大数据

本文链接：https://blog.csdn.net/qq_42078469/article/details/102845523

版权

学习专栏收录该内容

16 篇文章 0 订阅

订阅专栏

建表语句

hive (default)> create table dept_partition(
deptno int, dname string, loc string
)
partitioned by (month string)
row format delimited fields terminated by '\t';

shell 脚本

#!/bin/bash
action="";
#获取文件夹下所有的文件  然后进行遍历 得到文件的路径
for file in /opt/module/datas/AccountCharge/*
do
	#获取文件的路径  去除后缀名
 	name=${file//.txt/ };
	#得到/后面的路径
   str=$(echo  $name | awk -F '/' '{print $NF}')
   #获取执行的语句
   action=$action'load data local inpath "'$file'" into table dept_partition 
   partition(month="'$str'")'';'
done
#执行hive导入命令
hive -e "$action"