业务场景:
将A库的 table_a 抽数到 B 库的 table_b;
一共分为三部分:
kinit [username]@TDH
1、将 hadoop 数据库中的表数据抽到 TDH 服务器。
beeline -u "jdbc:hive2://[节点]:10000/[username];principal=hive/[节点]@TDH;kuser=[username]@TDH;keytab=/home/picrm/TDH-Client/picrm.keytab;auth=kerberos;krb5conf=/home/picrm/TDH-Client/kerberos/krb5.conf" -f choushu.sql
echo '-------------table F_CS_CP_CUST_BASE successfull!!!!!!--------------------'
2、将TDH A服务器的数据文件拿到本地服务器。
hadoop fs -getmerge /TDH A 服务器/table_a /本地服务器/table_b
3、将本地服务器放到TDH B服务器
hdfs dfs -put /本地服务器/table_b /TDH B 服务器/table_b
choushu.sql 文件
insert overwrite directory '/TDH服务器/table_b' row format delimited by '|'
select column_a ,column_b from ods.table_a
table_b 建表
create table table_b(column_a string
,column_b string)
comment '临时表'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LOCATION'/TDH B 服务器/table_b'