Mysql库表数据随时从生产拉取到数仓(Mysql)的方案(1)

最新推荐文章于 2022-04-15 18:15:16 发布
最新推荐文章于 2022-04-15 18:15:16 发布
阅读量1.3k 收藏
点赞数
分类专栏： Shell Mysql Solution 文章标签： Mysql 数据 shell 脚本 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/babyfish13/article/details/53705454
版权
Solution 同时被 3 个专栏收录
85 篇文章 1 订阅
订阅专栏
Mysql
43 篇文章 0 订阅
订阅专栏
Shell
29 篇文章 2 订阅
订阅专栏
1、程序路径
 
[root@slave1 dw-etl]# pwd
/root/dw-etl
[root@slave1 dw-etl]# tree
.
├── data
│   └── qrt_data
├── etl-script
│   └── qrt
│       ├── nohup.out
│       ├── qrt-hour_batch.sh
│       └── src2qrt_script
│           └── jellyfish
│               ├── src2qrt_game_video.sh
│               ├── src2qrt_space_happening.sh
│               ├── src2qrt_time_line_comment.sh
│               ├── src2qrt_time_line.sh
│               └── src2qrt_time_line_up.sh
├── run_log_dir
│   └── qrt-src2dwqrt_run.log
└── script_generate
    ├── etl_table_list_update.sh
    ├── exec_rdsqrt_create_tab.sh
    ├── qrt-create_rdstab_script.sh
    ├── qrt-create_src2qrt_script.sh
    ├── real_table.list
    └── script_dir
        ├── list_dir
        │   ├── dw_dbuserpass_info.list
        │   ├── real_table_userpass.list
        │   └── src_userpass_info.list
        └── rds-qrt_create_tab_script
            ├── game_video.sql
            ├── space_happening.sql
            ├── time_line_comment.sql
            ├── time_line.sql
            └── time_line_up.sql

11 directories, 21 files

2、需要提前配置的列表清单及格式
 
[root@slave1 script_generate]# cat /root/dw-etl/script_generate/real_table.list 
time_line|jellyfish|121.121.121.159:50506|time_line|total
time_line_comment|jellyfish|121.121.121.159:50506|time_line_comment|total
time_line_up|jellyfish|121.121.121.159:50506|time_line_up|total
game_video|jellyfish|121.121.121.159:50506|game_video|total
space_happening|jellyfish|121.121.121.159:50506|space_happening|total

[root@slave1 list_dir]# cat /root/dw-etl/script_generate/script_dir/list_dir/src_userpass_info.list 
121.121.121.159:50506|hadoop|srcpasswd|qrt

[root@slave1 list_dir]# cat /root/dw-etl/script_generate/script_dir/list_dir/dw_dbuserpass_info.list 
192.168.16.71|root|123|qrt

3、生成脚本的程序
 3.1、配置列表更新的Shell
 
[root@slave1 script_generate]# cat /root/dw-etl/script_generate/etl_table_list_update.sh 
#!/bin/bash
#batch real time script proc ...
sort -t "|" -k3,3 /root/dw-etl/script_generate/real_table.list > /root/dw-etl/script_generate/script_dir/list_dir/real_table_sort.list
join /root/dw-etl/script_generate/script_dir/list_dir/real_table_sort.list /root/dw-etl/script_generate/script_dir/list_dir/src_userpass_info.list -t "|" -1 3 -2 1 -o 1.1,1.2,1.3,1.4,1.5,2.2,2.3 > /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list
rm -rf /root/dw-etl/script_generate/script_dir/list_dir/real_table_sort.list
#get instance info for edit userpass
#cat /root/dw-etl/script_generate/real_table.list|awk  -F "|"  '{print $3}'| sort | uniq > /root/dw-etl/script_generate/script_dir/list_dir/table_instance_info.list
#get schema,instanct,user,pass info for table stru pull per day
#cat /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list|awk  -F "|"  '{print $3"|"$2"|"$6"|"$7 }'| sort | uniq > /root/dw-etl/script_generate/script_dir/list_dir/table_schema_info.list
[root@slave1 script_generate]#

3.2、目标表建表语句的生成
 
[root@slave1 script_generate]# cat /root/dw-etl/script_generate/qrt-create_rdstab_script.sh 
#!/bin/bash
#export yesterday=`date -d last-day +%Y%m%d`
#script dir int ...
rm -rf /root/dw-etl/script_generate/script_dir/rds-qrt_create_tab_script
mkdir -p /root/dw-etl/script_generate/script_dir/rds-qrt_create_tab_script
i=1
for tab in $(cat /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
do
col_num=$i
tab_name=$(awk -F "|" 'NR=='$col_num' {print $1}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
db_name=$(awk -F "|" 'NR=='$col_num' {print $2}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
db_ip=$(awk -F "|" 'NR=='$col_num' {print $3}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list | awk -F ":" '{print $1}')
db_port=$(awk -F "|" 'NR=='$col_num' {print $3}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list | awk -F ":" '{print $2}')
rds_map_tab_name=$(awk -F "|" 'NR=='$col_num' {print $4}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
load_type=$(awk -F "|" 'NR=='$col_num' {print $5}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
user_name=$(awk -F "|" 'NR=='$col_num' {print $6}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
passwd=$(awk -F "|" 'NR=='$col_num' {print $7}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
echo -e `mysql -h$db_ip -P$db_port -u$user_name -p$passwd -N -e"set session group_concat_max_len=20000000;
select CONCAT('use qrt;
drop table if exists \\\`',table_name,'\\\`;
create table \\\`',table_name,'\\\`(',
GROUP_CONCAT('\n\\\`',COLUMN_NAME,'\\\`  ',DATA_TYPE,''),
') ENGINE=InnoDB DEFAULT CHARSET=utf8;')
from (
select
COLUMN_NAME,'$rds_map_tab_name' table_name,
case when DATA_TYPE in('int','bigint','mediumint','smallint','tinyint') and (COLUMN_NAME not like '%time' and COLUMN_NAME not like '%date') then 'bigint' when DATA_TYPE in('varchar','char') then CONCAT('varchar','(',CHARACTER_MAXIMUM_LENGTH*1,')') when DATA_TYPE in('decimal') then CONCAT('decimal','(',NUMERIC_PRECISION*1,',',NUMERIC_SCALE*1,')') when DATA_TYPE in('text','enum') then 'text' when (COLUMN_NAME like '%time' or COLUMN_NAME like '%date') and data_type like '%int' then 'timestamp' else DATA_TYPE end data_type
from information_schema.COLUMNS
where TABLE_SCHEMA='$db_name' and table_name='$tab_name') a1;"` > /root/dw-etl/script_generate/script_dir/rds-qrt_create_tab_script/$tab_name.sql
: $(( i++ ))
done
#sed -i "s/'n'/'\\\n'/g" `grep "lines terminated by" -rl /root/dw-etl/script_generate/script_dir/rds-qrt_create_tab_script`


3.3、目标表建表语句的执行

[root@slave1 script_generate]# cat /root/dw-etl/script_generate/exec_rdsqrt_create_tab.sh 
#/bin/bash
export yesterday=`date -d last-day +%Y%m%d`
cd /root/dw-etl/script_generate/script_dir/rds-qrt_create_tab_script
for create_tab_script in /root/dw-etl/script_generate/script_dir/rds-qrt_create_tab_script/*.sql
do
mysql -h192.168.16.71 -uroot -p123 -D qrt < $create_tab_script
done

3.4、数据传输处理脚本生成的Shell
 
[root@slave1 script_generate]# cat /root/dw-etl/script_generate/qrt-create_src2qrt_script.sh 
#!/bin/bash
export today=`date +%Y-%m-%d`
export yesterday=`date -d last-day +%Y-%m-%d`
export beforeytd=`date -d "2 days ago" +%Y-%m-%d`
export ytd=${yesterday//-/}
rm -rf /root/dw-etl/etl-script/qrt/src2qrt_script/
i=1
for tab in $(cat /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
do
col_num=$i
tab_name=$(awk -F "|" 'NR=='$col_num' {print $1}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
db_name=$(awk -F "|" 'NR=='$col_num' {print $2}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
db_ip=$(awk -F "|" 'NR=='$col_num' {print $3}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list | awk -F ":" '{print $1}')
db_port=$(awk -F "|" 'NR=='$col_num' {print $3}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list | awk -F ":" '{print $2}')
rds_map_tab_name=$(awk -F "|" 'NR=='$col_num' {print $4}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
load_type=$(awk -F "|" 'NR=='$col_num' {print $5}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
user_name=$(awk -F "|" 'NR=='$col_num' {print $6}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
passwd=$(awk -F "|" 'NR=='$col_num' {print $7}' /root/dw-etl/script_generate/script_dir/list_dir/real_table_userpass.list)
if [ ! -d /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name ];then
   mkdir -p /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name
fi
rm -rf /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/src2qrt_$tab_name.sh
if [ $load_type == 'total' ];then
mysql -h$db_ip -P$db_port -u$user_name -p$passwd -N -e "set session group_concat_max_len=20000000;
select CONCAT('#!/bin/bashhuanhanghuanhangecho -e \`date +\\\"%Y-%m-%d %H:%M:%S\\\"\`,qrt-src2dwqrt $tab_name data $load_type load proc start ... >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.loghuanhang#userpass info get ...huanhangsrc_dbip=\`sh /root/public-function/getsrcinfo.fc dbip $tab_name\`huanhangsrc_user=\`sh /root/public-function/getsrcinfo.fc user $tab_name\`huanhangsrc_pass=\`sh /root/public-function/getsrcinfo.fc pass $tab_name\`huanhanghuanhangdw_dbip=\`sh /root/public-function/getdwinfo.fc dbip qrt\`huanhangdw_user=\`sh /root/public-function/getdwinfo.fc user qrt\`huanhangdw_pass=\`sh /root/public-function/getdwinfo.fc pass qrt\`huanhanghuanhang#$tab_name total data download from src ...huanhang/usr/bin/mysql -h\$src_dbip -P$db_port -u\$src_user -p\$src_pass -N -e\"'
,'set character_set_results=utf8;select CONCAT(',trim(TRAILING ',\'|\'' FROM GROUP_CONCAT(CONCAT('ifnull(',case when data_type in ('varchar') then concat('replace(replace(replace(\\\\\`',COLUMN_NAME,'\\\\\`,char(13),\'\'),char(10),\'\'),\'|\',\'\')') when (COLUMN_NAME like '%time' or COLUMN_NAME like '%date') and data_type like '%int' then concat('from_unixtime(\\\\\`',COLUMN_NAME,'\\\\\`,\'%Y-%m-%d %H:%i:%s\')') else concat('\\\\\`',COLUMN_NAME,'\\\\\`') end,',\'\')',',\'|\''))) ,') from ',TABLE_SCHEMA,'.',table_name,';'
,'\" >/root/dw-etl/data/qrt_data/',TABLE_SCHEMA,'.',table_name,'_rt.dathuanhang'
,'') mysql_export_and_hive_load_shell
from information_schema.COLUMNS
where TABLE_SCHEMA='$db_name' and table_name='$tab_name';"  >> /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/src2qrt_$tab_name.sh
mysql -h$db_ip -P$db_port -u$user_name -p$passwd -N -e "set session group_concat_max_len=20000000;
select
concat('huanhang#','$rds_map_tab_name',' table data download from src and upload to qrt rds...huanhang/usr/bin/mysql -h\$dw_dbip -u\$dw_user -p\$dw_pass -e \"use qrt;truncate table ','$rds_map_tab_name',';\"huanhang#loop load dir file to rds huanhang/usr/bin/mysql -h\$dw_dbip -u\$dw_user -p\$dw_pass -e \"use qrt;load data local infile \'/root/dw-etl/data/qrt_data/','$db_name','.','$tab_name','_rt.dat\' into table ','$rds_map_tab_name',' fields terminated by \'|\' enclosed by \'\' lines terminated by \'\\n\' ignore 0 lines;\"huanhanghuanhangecho -e \`date +\\\"%Y-%m-%d %H:%M:%S\\\"\`,qrt-src2dwqrt $tab_name data $load_type load proc finished! >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.loghuanhang') sql_text
from information_schema.TABLES t
where t.TABLE_SCHEMA='$db_name' and t.TABLE_NAME='$tab_name';"  >> /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/src2qrt_$tab_name.sh
elif [ $load_type == 'increment' ];then
echo $tab_name,data is increment!
mysql -h$db_ip -P$db_port -u$user_name -p$passwd -N -e "set session group_concat_max_len=20000000;
select CONCAT('#!/bin/bashhuanhanghuanhangecho -e \`date +\\\"%Y-%m-%d %H:%M:%S\\\"\`,qrt-src2dwqrt $tab_name data $load_type load proc start ... >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.loghuanhang#userpass info get ...huanhangsrc_dbip=\`sh /root/public-function/getsrcinfo.fc dbip $tab_name\`huanhangsrc_user=\`sh /root/public-function/getsrcinfo.fc user $tab_name\`huanhangsrc_pass=\`sh /root/public-function/getsrcinfo.fc pass $tab_name\`huanhanghuanhangdw_dbip=\`sh /root/public-function/getdwinfo.fc dbip qrt\`huanhangdw_user=\`sh /root/public-function/getdwinfo.fc user qrt\`huanhangdw_pass=\`sh /root/public-function/getdwinfo.fc pass qrt\`huanhanghuanhang#fetch maxtime from dw-src database ...huanhangexport last_maxtime=\`/usr/bin/mysql -h\$dw_dbip -u\$dw_user -p\$dw_pass -N -e \"use qrt;select max(timeline) max_time from qrt.','$rds_map_tab_name',';\"\`huanhanghuanhangif [[ \$last_maxtime = \'NULL\' ]]; thenhuanhang  last_maxtime=\'1970-01-01 00:00:00\'huanhangelsehuanhang  last_maxtime=\$last_maxtimehuanhangfihuanhanghuanhang#$tab_name total data download from src ...huanhang/usr/bin/mysql -h\$src_dbip -P$db_port -u\$src_user -p\$src_pass -N -e\"'
,'set character_set_results=utf8;select CONCAT(',trim(TRAILING ',\'|\'' FROM GROUP_CONCAT(CONCAT('ifnull(',case when data_type in ('varchar') then concat('replace(replace(replace(\\\\\`',COLUMN_NAME,'\\\\\`,char(13),\'\'),char(10),\'\'),\'|\',\'\')') when (COLUMN_NAME like '%time' or COLUMN_NAME like '%date') and data_type like '%int' then concat('from_unixtime(\\\\\`',COLUMN_NAME,'\\\\\`,\'%Y-%m-%d %H:%i:%s\')') else concat('\\\\\`',COLUMN_NAME,'\\\\\`') end,',\'\')',',\'|\''))) ,') from ',TABLE_SCHEMA,'.',table_name,' where timeline >= \'\$last_maxtime\';'
,'\" >/root/dw-etl/data/qrt_data/',TABLE_SCHEMA,'.',table_name,'_rt.dathuanhang'
,'') mysql_export_and_hive_load_shell
from information_schema.COLUMNS
where TABLE_SCHEMA='$db_name' and table_name='$tab_name';"  >> /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/src2qrt_$tab_name.sh
mysql -h$db_ip -P$db_port -u$user_name -p$passwd -N -e "set session group_concat_max_len=20000000;
select
concat('#','$rds_map_tab_name',' table current all data increment download from hive and upload to qrt rds...huanhang/usr/bin/mysql -h\$dw_dbip -u\$dw_user -p\$dw_pass -e \"use tmp;drop table if exists ','$rds_map_tab_name','_minutes;create table ','$rds_map_tab_name','_minutes as select * from qrt.','$rds_map_tab_name',' where 1=2;\"huanhang#loop load dir file to rds huanhang/usr/bin/mysql -h\$dw_dbip -u\$dw_user -p\$dw_pass -e \"use tmp;load data local infile \'/root/dw-etl/data/qrt_data/','$db_name','.','$tab_name','_rt.dat\' into table ','$rds_map_tab_name','_minutes fields terminated by \'|\' enclosed by \'\' lines terminated by \'\\n\' ignore 0 lines;\"huanhang/usr/bin/mysql -h\$dw_dbip -u\$dw_user -p\$dw_pass -e \"use tmp;alter table tmp.','$rds_map_tab_name','_minutes add index idx_','$rds_map_tab_name','_',k.COLUMN_NAME,' (',k.COLUMN_NAME,') using btree;delete ca.* from qrt.','$rds_map_tab_name',' ca left join tmp.','$rds_map_tab_name','_minutes i on ca.',k.COLUMN_NAME,' = i.',k.COLUMN_NAME,' where i.',k.COLUMN_NAME,' is not null;insert into qrt.','$rds_map_tab_name',' select * from tmp.','$rds_map_tab_name','_minutes;\"huanhanghuanhangecho -e \`date +\\\"%Y-%m-%d %H:%M:%S\\\"\`,qrt-src2dwqrt $tab_name data $load_type load proc finished! >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.loghuanhang') sql_text
from information_schema.TABLES t
left join information_schema.KEY_COLUMN_USAGE k
on t.TABLE_SCHEMA=k.TABLE_SCHEMA and t.TABLE_NAME=k.TABLE_NAME and k.CONSTRAINT_name='PRIMARY'
where t.TABLE_SCHEMA='$db_name' and t.TABLE_NAME='$tab_name';"  >> /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/src2qrt_$tab_name.sh
fi
sed -i "s/\\\\\`/\\\`/g" /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/src2qrt_$tab_name.sh
#echo -e \\n >> /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/src2qrt_$tab_name.sh
sed -i "s/huanhang/\n/g" `grep "mysql" -rl /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/`
chmod 750 /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/src2qrt_$tab_name.sh
: $(( i++ ))
done
#genrate batch script
echo -e "#!/bin/bash
export yesterday=\`date -d last-day +%Y%m%d\`
#src2qrt data proc ......
echo \`date \"+%Y-%m-%d %H:%M:%S\"\`,shell script exec start ................................................................ >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
for src_db in /root/dw-etl/etl-script/qrt/src2qrt_script/jellyfish*;
do
  echo \`date \"+%Y-%m-%d %H:%M:%S\"\`,start exec \$src_db shell script... >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
  for src2qrt_script in \$src_db/*.sh;
  do
   echo \`date \"+%Y-%m-%d %H:%M:%S\"\`,start exec [\$src2qrt_script] shell script... >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
   sh \$src2qrt_script
   echo \`date \"+%Y-%m-%d %H:%M:%S\"\`,[\$src2qrt_script] shell script exec finished! >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
  done
  echo \`date \"+%Y-%m-%d %H:%M:%S\"\`,\$src_db shell script exec finished! >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
done
echo -e \"\\\n\\\n\\\n\\\n\\\n\" >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log" > /root/dw-etl/etl-script/qrt/qrt-hour_batch.sh
chmod 750 /root/dw-etl/etl-script/qrt/qrt-hour_batch.sh
#sed -i "s/huanhang/\n/g" `grep "mysql" -rl /root/dw-etl/etl-script/qrt/src2qrt_script/$db_name/`
[root@slave1 script_generate]#

4、生成的建表语句及Etl脚本示例
 4.1、建表语句示例
 
[root@slave1 rds-qrt_create_tab_script]# cat /root/dw-etl/script_generate/script_dir/rds-qrt_create_tab_script/game_video.sql 
use qrt;
drop table if exists `game_video`;
create table `game_video`(
`id` bigint,
`game_id` bigint,
`game_name` varchar(200),
`created_uid` bigint,
`name` varchar(255),
`uri` varchar(500),
`process_state` bigint,
`desc` varchar(2000),
`size` bigint,
`duration` bigint,
`play_count` bigint,
`mime_type` varchar(255),
`real_play_count` bigint,
`comment_count` bigint,
`gift_count` bigint,
`screenshot` varchar(200),
`state` bigint,
`watermark_state` bigint,
`screenshot_state` bigint,
`created_time` datetime,
`updated_time` datetime) ENGINE=InnoDB DEFAULT CHARSET=utf8;

4.2、Etl调度示例
 
[root@slave1 qrt]# cat /root/dw-etl/etl-script/qrt/qrt-hour_batch.sh 
#!/bin/bash
export yesterday=`date -d last-day +%Y%m%d`
#src2qrt data proc ......
echo `date "+%Y-%m-%d %H:%M:%S"`,shell script exec start ................................................................ >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
for src_db in /root/dw-etl/etl-script/qrt/src2qrt_script/jellyfish*;
do
  echo `date "+%Y-%m-%d %H:%M:%S"`,start exec $src_db shell script... >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
  for src2qrt_script in $src_db/*.sh;
  do
   echo `date "+%Y-%m-%d %H:%M:%S"`,start exec [$src2qrt_script] shell script... >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
   sh $src2qrt_script
   echo `date "+%Y-%m-%d %H:%M:%S"`,[$src2qrt_script] shell script exec finished! >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
  done
  echo `date "+%Y-%m-%d %H:%M:%S"`,$src_db shell script exec finished! >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
done
echo -e "\n\n\n\n\n" >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log

4.3、Etl脚本示例
 
[root@slave1 jellyfish]# cat /root/dw-etl/etl-script/qrt/src2qrt_script/jellyfish/src2qrt_game_video.sh 
#!/bin/bash

echo -e `date +"%Y-%m-%d %H:%M:%S"`,qrt-src2dwqrt game_video data total load proc start ... >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log
#userpass info get ...
src_dbip=`sh /root/public-function/getsrcinfo.fc dbip game_video`
src_user=`sh /root/public-function/getsrcinfo.fc user game_video`
src_pass=`sh /root/public-function/getsrcinfo.fc pass game_video`

dw_dbip=`sh /root/public-function/getdwinfo.fc dbip qrt`
dw_user=`sh /root/public-function/getdwinfo.fc user qrt`
dw_pass=`sh /root/public-function/getdwinfo.fc pass qrt`

#game_video total data download from src ...
/usr/bin/mysql -h$src_dbip -P50506 -u$src_user -p$src_pass -N -e"set character_set_results=utf8;select CONCAT(ifnull(\`id\`,''),'|',ifnull(\`game_id\`,''),'|',ifnull(replace(replace(replace(\`game_name\`,char(13),''),char(10),''),'|',''),''),'|',ifnull(\`created_uid\`,''),'|',ifnull(replace(replace(replace(\`name\`,char(13),''),char(10),''),'|',''),''),'|',ifnull(replace(replace(replace(\`uri\`,char(13),''),char(10),''),'|',''),''),'|',ifnull(\`process_state\`,''),'|',ifnull(replace(replace(replace(\`desc\`,char(13),''),char(10),''),'|',''),''),'|',ifnull(\`size\`,''),'|',ifnull(\`duration\`,''),'|',ifnull(\`play_count\`,''),'|',ifnull(replace(replace(replace(\`mime_type\`,char(13),''),char(10),''),'|',''),''),'|',ifnull(\`real_play_count\`,''),'|',ifnull(\`comment_count\`,''),'|',ifnull(\`gift_count\`,''),'|',ifnull(replace(replace(replace(\`screenshot\`,char(13),''),char(10),''),'|',''),''),'|',ifnull(\`state\`,''),'|',ifnull(\`watermark_state\`,''),'|',ifnull(\`screenshot_state\`,''),'|',ifnull(\`created_time\`,''),'|',ifnull(\`updated_time\`,'')) from jellyfish.game_video;" >/root/dw-etl/data/qrt_data/jellyfish.game_video_rt.dat


#game_video table data download from src and upload to qrt rds...
/usr/bin/mysql -h$dw_dbip -u$dw_user -p$dw_pass -e "use qrt;truncate table game_video;"
#loop load dir file to rds 
/usr/bin/mysql -h$dw_dbip -u$dw_user -p$dw_pass -e "use qrt;load data local infile '/root/dw-etl/data/qrt_data/jellyfish.game_video_rt.dat' into table game_video fields terminated by '|' enclosed by '' lines terminated by '\n' ignore 0 lines;"

echo -e `date +"%Y-%m-%d %H:%M:%S"`,qrt-src2dwqrt game_video data total load proc finished! >> /root/dw-etl/run_log_dir/qrt-src2dwqrt_run.log

[root@slave1 jellyfish]#

5、说明
需要新加表或更改表，只要更新【real_table.list 】的内容，然后再执行对应的脚本就可以了。
这个方案在之前使用过，现在根据新环境进行了重新的整理；因为目前的数仓没有规范建立起来，所以通过这种形式的数据处理，可以提高效率，方便日常的数据拉取。
BabyFish13
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DW_ETL:DW，Oracle，ETL，SQL，Teradata和ETL测试概念
05-11
DW_ETL DW，Oracle，ETL，SQL，Teradata和ETL测试概念
使用dw-etl完美替代kettle
chliang的专栏
02-07 1993
使用dw-etl完美替代kettle 相信用过kettle的人都对这个工具既爱又恨，爱的是它功能很多，界面操作很丰富，一副无所不能的样子。然而，真要用它解决一些棘手的问题，它又显得无能为力。 例如这样的标准场景，数据仓库从ods层迁移数据到dw层时，ods层表格很可能类似于exam这个表的样子： 数据仓ods层一个单表通常包含有事实字段和维度字段。 而数据仓dw层则需要把表拆成事实表+维度表的星型结构，或者雪花型结构 面对这样的问题kettle无法优雅地解决，并且现实是我们通常还要应对全量、增量数据同步
Mysql库表数据随时从生产拉取到数仓(Mysql)的方案(2)
BabyFish13
12-17 592
本篇主要是接上文【Mysql库表数据随时从生产拉取到数仓(Mysql)的方案(2)】-->http://blog.csdn.net/babyfish13/article/details/53705454，描述说明以一下获取数据库对应用户名和密码的两个Shell函数。 1、目录路径 [root@slave1 public-function]# pwd /root/public-function
DB、ETL、DW、OLAP、DM、BI关系结构图
weixin_30906671的博客
05-29 938
DB、ETL、DW、OLAP、DM、BI关系结构图 在此大概用口水话简单叙述一下他们几个概念： （1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你的眼前，这个眼前就是db。 （2）...
SQL数据分析之数据提取、数据查询、数据清洗【MySQL速查】
热门推荐
Viewinfinitely的博客
04-15 1万+
使用SQL进行数据分析时的步骤，是常用的数据分析岗位必须具备的技能。本文主要介绍一些最基本、使用的sql在数据分析中的各种用法，包括：数据提取、数据查询、数据清洗、数据分组和连接查询。其中最重要的数据查询包括以下5个方面，1、选取数据（select）2、筛选（where）3、范围匹配（IN）4、排序（order by）5、条件筛选（case when）。
从mysql拉取sql数据到echarts地图数据格式
06-08
从mysql拉取sql数据到echarts地图数据格式
github-to-mysql：将GitHub数据（问题，标签等）同步到MySQL数据库
02-04
从GitHub到MySQL 将GitHub数据（问题，标签等）同步到MySQL数据库。 特征： 同步问题并拉取请求 支持多页结果 同步标签 同步里程碑 入门 克隆存储库或并解压缩 运行composer install 复制.env.dist以创建.env...
docker拉取mysql5.6镜像并run一个容器，使用mysql服务
07-21
docker拉取mysql5.6镜像并run一个容器，使用mysql服务
找到一种不错的从SQLServer转成Mysql数据库的方法
12-15
不方便采取SQL SERVER里导入MYSQL的ODBC数据源的功能（也不推荐这么做，字段类型等不同点会搞死人的～），因此就在WINDOWS下自己写PHP脚本从SQLSERVER里读数据，然后按照新系统的需要处理之后插入MYSQL里面，灵活也...
php定期拉取数据对比方法实例
01-02
写在前面 今天在网上看帖子提问的时候，看到有人发表了一个提问 ... 我们通过这个问题来分析讲解一下其中的知识点。 首先要解决的问题是：如何让程序每天自动执行一次脚本 ...关于定时执行，最常见的方法是利用系统级别...
DB、ETL、DW、OLAP、DM、BI
qq_41476714的博客
01-15 835
目录一、DB二、ETL三、DW四、OLAP和OLTP五、DM六、BI 一、DB ​ DataBase，指数据库，存某一时刻的数据。保留数据 最新的 一条状态 二、ETL ​ 完成从DB到DW数据转存。DB是ER模型，遵从范式设计原则。DW是星型，面向主题。 三、DW ​ Data Warehouse，指DB中不同时间点的数据。 四、OLAP和OLTP ​ OLAP： On-Line Analytical Processiong，报表系统，销售报表，统计报表。数据仓库（分析型数据库）的主要应用，侧重决策支持。
什么是BI、ETL、DW
churushuju的博客
09-19 1万+
什么是BI: 即商业智能（Business Intelligence），是指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。 BI 使得企业的决策者能够对企业信息进行有效、合理地分析和处理，为决策提供可靠的依据。BI应用包括决策支持、查询和报表、联机分析处理OLAP、统计分析、预测和数据挖掘等活动。 什么是ETL: ETL
传统数据仓库 DW/EDW/BI/ODS/DM/ETL
流浪地球的博客
05-28 7952
DW 数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 EDW 企业数据仓库 数据仓库(DW)概念的创始人W. H.Inmon对数据仓库下了这样的定义：“数据...
ETL详解
Adam_allen的博客
03-05 992
ETL（Extract-Transform-Load的缩写，ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的设计分三部分： ...
Mysql8.0安装
m0_46258409的博客
12-30 597
** 图鉴无废话 ** 解压！！！ 新建一个my.ini文件 [mysqld] # 设置3306端口 port=3306 # 设置mysql的安装目录 basedir=D:/software/mysql-8.0.22-winx64 # 设置mysql数据库的数据的存放目录 datadir=D:/software/mysql-8.0.22-winx64/Data # 此处同上 # 允许最大连接数 max_connections=200 # 允许
MySQL：提取数据
weixin_42294510的博客
06-21 1606
设计表并显示内容 1、创建表 前提：启用mysql监听器，使用数据库db1 1、创建表 2、插入数据 3、显示数据 2、改变列显示顺序 3、使用别名显示列数据 经过处理后显示列
使用mysql 作数据仓库_mysql可以做数据仓库吗
weixin_33693600的博客
01-18 661
以的1、在目的sql server数据库服务器上安装oracle client软件或者oracle odbc driver.通过oracle客户端，在netmanager中建立“服务(tns server)”，并测试连接上oracle数据库正常2、在sqlserver的dts(导入和导出数据工具)进行(1)选择数据源：数据源：oracle in oracle9i选择：用户/系统dsn:点击新建ds...
mysql数据仓库搭建_搭建数据仓库的流程简介
weixin_26905487的博客
02-02 3431
如何搭建一个数据仓库？ 下面大体说明了搭建的流程。数据仓库的结构用一幅图来表示：数据仓库的好处数据仓库是一套体系。可以建在Oracle上，MySQL上，Hive上，MaxCompute上，具体建在哪个平台根据数据量来定。对数据仓库来说，建在哪个平台不重要，重要的是目的。数据仓库的目的，是对组织的数据进行统一的治理，归纳来讲，就是：存、通、用。存：是指数据的统一存储。数据放在一起了，meta才能在...
flinkcdc 拉取 mysql 数据到doris
最新发布
09-29
flinkcdc是一个用于将MySQL数据拉取到Doris的工具。根据提供的引用内容，可以看出在Doris中验证增量数据是否成功同步，可以通过执行SQL语句`select * from PERSONS;`来查看同步的数据。同时，进入Doris后可以使用`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值