![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL
lubinsu
我当前活着的每一天都是我余生最年轻的时候
展开
-
ETL调度开发(3)——清除换行符
和数据库对接的时候,数据库经常会有字符长度的限制,you原创 2014-08-12 23:11:51 · 1586 阅读 · 0 评论 -
ETL调度开发(1)——编写说明
前言:在数据库运行维护过程中经常会需要在系统之间进行文件传输,对数据进行抽取、转换、整合等操作。并且在数据整合之后进行统计调度,这里将会对本人开发的一个ETL调度进行详细的说明。需求概述:调度分为如下方式:ü 一个是SHELL编写的ETL调度,支持小时、日、周、月文件的调度。ü 一个是流程调度,主要是根据配置表调用指定过程,并发执行。进程描述:文原创 2014-08-12 22:27:38 · 2342 阅读 · 0 评论 -
ETL调度开发(2)——配置表说明
根据需求我们需要创建部分所需的配置表,各表说明如下:1、文件FTP主机配置表:SHELL_HOST_CFGCOLUMN_NAMEDATA_TYPECOMMENTSLATN_IDNUMBER HOST_IDNUMBER主机IDHOST_NAM原创 2014-08-12 22:44:23 · 2289 阅读 · 0 评论 -
ETL调度开发(4)——FTP加载文件子程序
ETL工具中最基础的功能是加载远程服务器的文件,如下小程序以二进制方式获取远程服务器上的文件:#!/usr/bin/bash#created by lubinsu#2014source ~/.bash_profilefilename=$6srcdir=$4descdir=$5ftpip=$1ftpusr=$2ftppwd=$3#get filesftp -i -in <<原创 2014-08-14 23:20:08 · 1593 阅读 · 0 评论