etl中装载mysql_ETL Automation完整安装方法_(元数据存放在mysql数据库)

安装前介质准备：

DBI-1.636.tar.gz

DBD-mysql-4.037.tar.gz

ETL.tar

Perl下载地址：

第一部分 Mysql数据库安装

链接如：http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.html

第二部分 Perl模块安装

1) 检查当前perl版本命令：perl -v

查看已安装perl模块命令：perldoc perllocal

2) DBI模块为DBI-1.636.tar.gz

方法与DBD模块一样

3) DBD模块为 DBD-mysql-4.037.tar.gz

tar xvzf DBD-mysql-4.037.tar.gz

cd DBD-mysql-4.037

perl Makefile.PL

make

make test

make install

5) 其它模块 …

6) 在/etc/profile 增加如下变量

export PATH=/usr/local/mysql/bin:$PATH

export LD_LIBRARY_PATH=/usr/local/lib/mysql

7) 测试test.perl脚本连接mysql是否成功

第三部分Automation安装

1) 在linux系统下，创建etl用户

groupadd etl

useradd -g etl -m -d /home/etl -s /bin/bash etl

2) 切换到etl用户，在/home/etl添加环境变量 vi .bashrc，然后使之生效 source .bashrc

AUTO_HOME=/opt/ETL; export AUTO_HOME;

AUTO_DSN=tdvm; export AUTO_DSN;

AUTO_DB=etlauto; export AUTO_DB;

AUTO_SERVER=ETL1; export AUTO_SERVER;

AUTO_SERVER_IP=192.168.152.100; export AUTO_SERVER_IP;

AUTO_AGENT_PORT=6346; export AUTO_AGENT_PORT;

AUTO_WDOG_PORT=6346; export AUTO_WDOG_PORT;

AUTO_PRIMARY_SERVER=0; export AUTO_PRIMARY_SERVER;

ODBCINI=$HOME/.odbc.ini;export ODBCINI

LD_LIBRARY_PATH=$LD_LIBRARY_PATH :/opt/teradata/client/14.00/odbc_64/lib:/usr/local/lib; export LD_LIBRARY_PATH

3) 上传ETL.tar到/opt/目录，并解压

tar xvf ETL.tar

5) 修改etl_unix.pm和tools.pm两个文件的数据库连接信息

my $dbh = DBI->connect("DBI:mysql:database=etlauto;host=10.161.166.51", "root", "123456",

6) 切换到root用户，授予etl用户/opt/ETL权限

chown -R etl:etl /opt/ETL

7) 上传yhddw.pm到该目录下 /usr/lib64/perl5/vendor_perl/

8) 切换到etl用户，清空 /opt/ETL/lock 下的文件 rm –rf etl*

然后在/opt/ETL/bin目录下执行sh start.sh

9) 查看Automation 5个进程是否启动：

方法一：ps –ef | grep pl

方法二：/opt/ETL/LOG

主要查看etlmaster.out

第四部分 配置ETLAdmin

4.1，导入项目

1) 将ETLAdmin261复制到workspace文件下

2) 打开eclipse，选择

File—Import

General--Existing Projects into Workspace

Select root directory – Browse—接着选择第一步“ETLAdmin261”的文件位置

选中copy projects into workspace    Finish

4.2，导入jar包

1) 先删除lib下的jia包

2) Build Path—Configure Build Path

3) Java Buidl Path—Libraries—Add  JARs

4.3，修改数据库配置信息

原文：http://www.cnblogs.com/zzjhn/p/5965588.html