perl多线程抽取数据进展

研究了两天,写了个perl多线程抽取数据库数据,配置文件格式如下:

//ThreadNum3
DatabaseTypeOracle#-DatabaseDsnDNSname#-UserNameuser#-PassWord123456#-Tableuser.table#-Trim^#-Replace#-Sqlselect * from user.table where rownum<100000
DatabaseTypeTeradata#-DatabaseDsnETLDB#-#-UserNameetl#-PassWordetl#-Tablejspetl.table#-Trim^#-Replace#-Sqlselect * from jspetl.table sample 100000

第一行是设置线程数,第二行开始通过关键字读取相关数据库、DSN等信息,线程方式是先新建3个线程,同时抽取,如果有一个线程抽取完了,自动新建一个线程,加入队列抽取,同时调用轮询线程打印出目前所有表的抽取状态,通过$sth->fetchrow_array()获取查询信息,$SelectResult = $SelectResult.@SelectData[$i].$CurrentSeparator; 拼接字段和分隔符后写入文本。

 

目前为解决问题:1、各线程抽取速度不知道怎么优化;2、多线程时候CPU占用率很高

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值