sqoop
大鹏_大数据
这个作者很懒,什么都没留下…
展开
-
sqoop导出到mysql的连接问题
export_method(){V_DATE=`date --date="-1 day" +%Y%m%d`V_TABLE=app_member_statistics_diuser=rootD_PASSWORD='Trtjk@2019'T_TABLE=app_member_statistics_diCONNECT='jdbc:mysql://10.8.157.179:3306/dp_st...原创 2020-04-22 10:48:57 · 399 阅读 · 0 评论 -
shell操作sqoop从hive导出到mysql(使用hive数据文件导入)
#!/bin/bashexport_method(){V_DATE=`date --date="-1 day" +%Y%m%d`V_TABLE=app_member_sales_order_diD_BASE=data_center_odsuser=rootD_PASSWORD=Trtjk1234@D_schema=shop_one#mysql的表T_TABLE=app_membe...原创 2020-03-16 10:03:52 · 1182 阅读 · 0 评论 -
shell操作sqoop从mysql导入到hive
此脚本可输入参数,单独运行某个表,也可不输入参数,导入全部的表sh sqoop_tp_member.sh 运行全部sh sqoop_tp_member.sh ods_t_mc_member_df 单独运行 ods_t_mc_member_df#!/bin/bash#参数列表--需要进行业务进行修改的#获取前一天日期do_date=`date --date="-1 day...原创 2020-03-16 09:51:56 · 422 阅读 · 0 评论 -
sqoop从mysql到hive的时间字段问题
一、问题发现与分析问题:用公司的大数据平台导数,已经开发上线一个多月的一批报表,突然有同事说有个报表数据不准。出在时间字段上。分析:1、先看了原数据MySQL字段类型为datetime,目标字段为string类型;2、经发现所有时间的差距都是8小时,怀疑是因为时区转换的原因;3、对比其他表,看看是大范围现象还是特殊情况,发现其他的同样情况字段的一样没有问题二、解决办法经过对比:sq...原创 2020-02-20 17:32:25 · 1631 阅读 · 0 评论