研究了两天,写了个perl多线程抽取数据库数据,配置文件格式如下:
//ThreadNum3
DatabaseTypeOracle#-DatabaseDsnDNSname#-UserNameuser#-PassWord123456#-Tableuser.table#-Trim^#-Replace#-Sqlselect * from user.table where rownum<100000
DatabaseTypeTeradata#-DatabaseDsnETLDB#-#-UserNameetl#-PassWordetl#-Tablejspetl.table#-Trim^#-Replace#-Sqlselect * from jspetl.table sample 100000
第一行是设置线程数,第二行开始通过关键字读取相关数据库、DSN等信息,线程方式是先新建3个线程,同时抽取,如果有一个线程抽取完了,自动新建一个线程,加入队列抽取,同时调用轮询线程打印出目前所有表的抽取状态,通过$sth->fetchrow_array()获取查询信息,$SelectResult = $SelectResult.@SelectData[$i].$CurrentSeparator; 拼接字段和分隔符后写入文本。
目前为解决问题:1、各线程抽取速度不知道怎么优化;2、多线程时候CPU占用率很高