大数据hive数仓平台如何通过文件导入导出数据

文本文件数据导入

首先把文件转成csv的格式(推荐是csv,并不一定非要是csv，txt，excel也可以，但稳定性不如csv)，字符编码推荐utf8

然后在资源管理里选择上传资源-，把你的文件上传到平台，例如叫demo.csv

上传完之后就可以写sql把数据导入到表里了(导入的目标表需要先建表，且结构与文本文件里的一致)

-- 文件路径在上图的复制资源路径里
load data '/user/datacompute/users/qiubiao.li/demo.csv' 
-- 这个table名是系统临时表名，起到一个过渡的作用，即先导入临时表再导入到目的表
table tdl_spark_test 
-- 文件以什么符合分割的就采取什么符号
options( delimiter=',');
-- 这个就是普通的overwrite语句了
insert overwrite table  hhy_dw.cl_lx_liqb_tmp   select * from tdl_spark_test ;

数据导出成文本文件

小数据量(1000以下)，可直接点击平台上的导出按钮来导出，该方法仅适用于小数据量(各大数据平台都有自己的一套机制)

对于大数据量需要先在平台上导出成文件，再把文件download下来

导出文件sql

-- 建立临时表，跟导入不同的是，导入是系统表，该表是真的意义上的临时表，生命周期1天
create table tdl_0_0111 lifecycle 1
-- 下面这条语句是你想要导出的数据
select id,name from project.table1;
-- 导出数据到文件
export table tdl_0_0111 TO 'demo_export.csv' options(delimiter=',');

sql运行完毕后数据文件会在我的资源里，然后选择下载到本地就可以了