1.定时ETL得到表名时间=》传入ETL1,ETL1通过sqoop开始去执行每天的计划任务。
同时转移把日志重/tmp下,,,转移到工作目录下,,,,然后解析日志得到所有信息。行数什么的,
同时在执行sqoop过程中,那张表出现问题就更新执行标志到数据库
2.问题2,,要等所有的表同步完才出报表。
3.每天的数据会生成临时文件,之后删除,,,,可能使用临时文件去做转换。
总之就做的像坨屎一样的东西
1.定时ETL得到表名时间=》传入ETL1,ETL1通过sqoop开始去执行每天的计划任务。
同时转移把日志重/tmp下,,,转移到工作目录下,,,,然后解析日志得到所有信息。行数什么的,
同时在执行sqoop过程中,那张表出现问题就更新执行标志到数据库
2.问题2,,要等所有的表同步完才出报表。
3.每天的数据会生成临时文件,之后删除,,,,可能使用临时文件去做转换。
总之就做的像坨屎一样的东西