![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
大鹏_大数据
这个作者很懒,什么都没留下…
展开
-
pgsql hive mysql生成时间序列
hive mysql postgresql 生成时间序列原创 2022-11-17 20:05:51 · 1112 阅读 · 0 评论 -
shell操作sqoop从hive导出到mysql(使用hive数据文件导入)
#!/bin/bash export_method(){ V_DATE=`date --date="-1 day" +%Y%m%d` V_TABLE=app_member_sales_order_di D_BASE=data_center_ods user=root D_PASSWORD=Trtjk1234@ D_schema=shop_one #mysql的表 T_TABLE=app_membe...原创 2020-03-16 10:03:52 · 1167 阅读 · 0 评论 -
shell操作sqoop从mysql导入到hive
此脚本可输入参数,单独运行某个表,也可不输入参数,导入全部的表 sh sqoop_tp_member.sh 运行全部 sh sqoop_tp_member.sh ods_t_mc_member_df 单独运行 ods_t_mc_member_df #!/bin/bash #参数列表--需要进行业务进行修改的 #获取前一天日期 do_date=`date --date="-1 day...原创 2020-03-16 09:51:56 · 405 阅读 · 0 评论 -
sqoop从mysql到hive的时间字段问题
一、问题发现与分析 问题: 用公司的大数据平台导数,已经开发上线一个多月的一批报表,突然有同事说有个报表数据不准。出在时间字段上。 分析: 1、先看了原数据MySQL字段类型为datetime,目标字段为string类型; 2、经发现所有时间的差距都是8小时,怀疑是因为时区转换的原因; 3、对比其他表,看看是大范围现象还是特殊情况,发现其他的同样情况字段的一样没有问题 二、解决办法 经过对比:sq...原创 2020-02-20 17:32:25 · 1619 阅读 · 0 评论 -
hive关联映射hbase
CREATE EXTERNAL TABLE hbase_dcs( key string comment “hbase rowkey”, station string comment “站”, area string comment “区”, moduleId string comment “模块ID”, moduleName string comment “模块名字”, name string c...原创 2019-07-31 17:48:11 · 209 阅读 · 0 评论