![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
大鹏_大数据
这个作者很懒,什么都没留下…
展开
-
sqoop导出到mysql的连接问题
export_method(){ V_DATE=`date --date="-1 day" +%Y%m%d` V_TABLE=app_member_statistics_di user=root D_PASSWORD='Trtjk@2019' T_TABLE=app_member_statistics_di CONNECT='jdbc:mysql://10.8.157.179:3306/dp_st...原创 2020-04-22 10:48:57 · 385 阅读 · 0 评论 -
shell操作sqoop从hive导出到mysql(使用hive数据文件导入)
#!/bin/bash export_method(){ V_DATE=`date --date="-1 day" +%Y%m%d` V_TABLE=app_member_sales_order_di D_BASE=data_center_ods user=root D_PASSWORD=Trtjk1234@ D_schema=shop_one #mysql的表 T_TABLE=app_membe...原创 2020-03-16 10:03:52 · 1167 阅读 · 0 评论 -
shell操作sqoop从mysql导入到hive
此脚本可输入参数,单独运行某个表,也可不输入参数,导入全部的表 sh sqoop_tp_member.sh 运行全部 sh sqoop_tp_member.sh ods_t_mc_member_df 单独运行 ods_t_mc_member_df #!/bin/bash #参数列表--需要进行业务进行修改的 #获取前一天日期 do_date=`date --date="-1 day...原创 2020-03-16 09:51:56 · 405 阅读 · 0 评论 -
sqoop从mysql到hive的时间字段问题
一、问题发现与分析 问题: 用公司的大数据平台导数,已经开发上线一个多月的一批报表,突然有同事说有个报表数据不准。出在时间字段上。 分析: 1、先看了原数据MySQL字段类型为datetime,目标字段为string类型; 2、经发现所有时间的差距都是8小时,怀疑是因为时区转换的原因; 3、对比其他表,看看是大范围现象还是特殊情况,发现其他的同样情况字段的一样没有问题 二、解决办法 经过对比:sq...原创 2020-02-20 17:32:25 · 1619 阅读 · 0 评论