shell操作sqoop从hive导出到mysql(使用hive数据文件导入)

最新推荐文章于 2024-08-14 20:44:58 发布

大鹏_大数据

最新推荐文章于 2024-08-14 20:44:58 发布

阅读量1.2k

点赞数

分类专栏： sqoop mysql hive 文章标签： hive sqoop mysql 大数据

本文链接：https://blog.csdn.net/weixin_42348946/article/details/104892406

版权

mysql 同时被 3 个专栏收录

6 篇文章 0 订阅

订阅专栏

hive

5 篇文章 0 订阅

订阅专栏

sqoop

4 篇文章 0 订阅

订阅专栏

#!/bin/bash
export_method(){
V_DATE=`date --date="-1 day" +%Y%m%d`
V_TABLE=app_member_sales_order_di
D_BASE=data_center_ods
user=root
D_PASSWORD=Trtjk1234@
D_schema=shop_one
#mysql的表
T_TABLE=app_member_sales_order_di
CONNECT=jdbc:mysql://10.8.154.235:3306/shop_one?characterEncoding=utf-8
#hive表数据存放路径(hive建表时数据存放路径)
T_DIR=/onebase/app/${V_TABLE}/pt=${V_DATE}
#mysql对应字段
T_column=id,member_phone,create_time,order_no,amount,account_period

sqoop export \
--connect $CONNECT \
--username $user \
--driver org.postgresql.Driver \
--password $D_PASSWORD \
--table $T_TABLE \
--export-dir $T_DIR \
--columns $T_column \
--input-fields-terminated-by '\001' \
--input-lines-terminated-by '\n' \
--input-null-string "\\\\N" \
--input-null-non-string "\\\\N"
}
export_method