mysql
大鹏_大数据
这个作者很懒,什么都没留下…
展开
-
pgsql hive mysql生成时间序列
hive mysql postgresql 生成时间序列原创 2022-11-17 20:05:51 · 1100 阅读 · 0 评论 -
mysql强制修改密码
mysql强制修改密码前因操作步骤前因操作系统:centos7mysql版本:5.7(5.7与5.7以前修改密码是有区别的)安装musql5.7,不知道为什么也没有生成原始密码,所以只能强制修改密码操作步骤重置密码的第一步就是跳过MySQL的密码认证过程,方法如下:vim /etc/my.cnf在文档内搜索mysqld定位到[mysqld]文本段:/mysqld(在vim编辑状态下直接输入该命令可搜索文本内容)在[mysqld]后面任意一行添加“skip-grant-tables”用原创 2020-06-06 13:50:57 · 677 阅读 · 0 评论 -
sqoop导出到mysql的连接问题
export_method(){V_DATE=`date --date="-1 day" +%Y%m%d`V_TABLE=app_member_statistics_diuser=rootD_PASSWORD='Trtjk@2019'T_TABLE=app_member_statistics_diCONNECT='jdbc:mysql://10.8.157.179:3306/dp_st...原创 2020-04-22 10:48:57 · 379 阅读 · 0 评论 -
shell操作sqoop从hive导出到mysql(使用hive数据文件导入)
#!/bin/bashexport_method(){V_DATE=`date --date="-1 day" +%Y%m%d`V_TABLE=app_member_sales_order_diD_BASE=data_center_odsuser=rootD_PASSWORD=Trtjk1234@D_schema=shop_one#mysql的表T_TABLE=app_membe...原创 2020-03-16 10:03:52 · 1162 阅读 · 0 评论 -
shell操作sqoop从mysql导入到hive
此脚本可输入参数,单独运行某个表,也可不输入参数,导入全部的表sh sqoop_tp_member.sh 运行全部sh sqoop_tp_member.sh ods_t_mc_member_df 单独运行 ods_t_mc_member_df#!/bin/bash#参数列表--需要进行业务进行修改的#获取前一天日期do_date=`date --date="-1 day...原创 2020-03-16 09:51:56 · 399 阅读 · 0 评论 -
sqoop从mysql到hive的时间字段问题
一、问题发现与分析问题:用公司的大数据平台导数,已经开发上线一个多月的一批报表,突然有同事说有个报表数据不准。出在时间字段上。分析:1、先看了原数据MySQL字段类型为datetime,目标字段为string类型;2、经发现所有时间的差距都是8小时,怀疑是因为时区转换的原因;3、对比其他表,看看是大范围现象还是特殊情况,发现其他的同样情况字段的一样没有问题二、解决办法经过对比:sq...原创 2020-02-20 17:32:25 · 1598 阅读 · 0 评论