[Perl多线程]自动上传FTP文件的多线程扩展

最新推荐文章于 2020-03-05 10:55:46 发布

iteye_3606

最新推荐文章于 2020-03-05 10:55:46 发布

阅读量135

点赞数

Perl脚本多线程上传FTP文件

<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

本脚本是对《[Perl]FTP自动上传文件的脚本以及配置文件》的多线程扩展，当然首先对方FTP站点允许同一个IP发起多个连接。

ithreads支持

Perl<?xml:namespace prefix = st1 ns = "urn:schemas-microsoft-com:office:smarttags" /><chsdate year="1899" month="12" day="30" islunardate="False" isrocdate="False" w:st="on">5.6.0</chsdate>已经加入了ithreads支持，我们通过

use threads;

导入threads多线程处理包；并且通过

use threads::shared;

使用线程间共享变量。

在定义全局并线程间共享的变量时，要这样写：

my $CurrentThreads: shared = 0; #当前线程总数

因为在Perl的实现中，线程并不是像pthread那样共享变量，而是大家都分开，如同原来的进程一样。如果想让一个变量共享，须要显式地指定它才行。

当然我们还要限制并发活动线程数目，因为最多线程数是1-65。perl最多允许64个子线程，加上主线程因此最多65个线程，而且FTP站点允许多大连接数。这里$MaxThreads设置是从配置文件读取的。

配置文件的读取我们是采用

use Config::IniFiles;

库的。它的读取很简单：

my $cfg = Config::IniFiles->new( -file => "FTPUpload.config" );

等待线程的完全退出

通过不断地调用

my $thread = threads->create('processFile', $srcpath, $dstpath, $dstdir);

启动了多干个线程后，我们这里一定要调用

push(@$self, \$thread);

因为，创建一个thread以后要用join取得该thread的返回值，然后系统才会对thread进行清理，否则所有thread的信息都会保留下来，当然越积越多了。对返回值不关心的时候要用detach显式剥离该thread。

所以，在最后我们要等待这些线程的完全退出：

foreach my $thread (@$self)

{

print("Joining thread\n");

$$thread->join();

}

否则，threads库会在最后打印如下信息：

A thread exited while 2 threads were running.

程序大致的流程是：

第一步，尝试用配置信息登陆ftp站点，这只是验证能够登陆而已；

第二步，在指定文件夹A类下寻找符合条件的文件，并将对每一个A类文件创建一个线程上传。每个线程单独创建一个FTP连接，并不断地尝试上传这个文件直至成功；

第三步，如果A类文件们全部上传成功，那么在指定文件夹B类下寻找指定文件, 并且上传到FTP指定目录下

第四步，写成功/失败日志。

最后，我们要写的成功/失败日志的格式如下所示:

成功: 生成一个名为“Upload_Succ_2005_01_04_17_23.log”的日志文件

文件格式：输出上传时间，以及所有上传文件名及其大小和耗费的时间。

失败: 生成一个名为“Upload_Fail_2005_01_04_17_23.log”的日志文件

文件格式：输出上传时间，以及已经上传的文件名及其大小和耗费的时间，和失败的文件名及原因。

配置perl脚本运行有两个办法：

u 您可以在Windows计划任务中配置运行“Perl Upload.pl”的时间，这需要在Windows环境中配置ActivePerl <chsdate year="1899" month="12" day="30" islunardate="False" isrocdate="False" w:st="on"><b style="mso-bidi-font-weight: normal"><span lang="EN-US" style="FONT-SIZE: 10.5pt; COLOR: #666699; FONT-FAMILY: Arial; mso-bidi-font-size: 12.0pt">5.8.4</span></b></chsdate>.810；

u 您也可以利用Perl2Exe(p2x-8.40-Win32)来将perl脚本编译为一个exe可执行程序，在计划任务中运行这个exe(这需要PerlCRT.dll在系统路径下)。

[注意！]在运行之前，您必须修改“Upload.config”文件以配置所需的重要参数。

外部配置参数

在和perl脚本同一目录下的“Upload.config”配置文件中，是事先配置的10个外部参数:

# 参数1: ftp_server：

# FTP服务器的IP地址。

# 参数2: ftp_dir:

# 指定的FTP上传目录路径；

# 参数3: ftp_uid:

# FTP的登陆用户名；

# 参数4: ftp_pw:

# FTP的登陆密码；

# 参数5: src_dir_WAVFiles，这是一个数组:

指定A类文件夹，放置所有要上传的语音文件；

注意：这个目录下的子文件夹也会被上传。

# 参数6: src_dir_NamesListFile，这是一个数组:

指定B类文件夹,放置B类文件. 注意：这个目录下的子文件夹也会被上传。

# 参数7: ftp_timeout:

# FTP的访问超时时间，以秒为单位；

# 参数8: ftp_retrytimes:

# FTP上传一个文件的重试次数，如果重试这么多次都失败之后，报告错误；

# 参数9: ftp_debug ：

# FTP的详细的调试信息输出

# 参数10: maxthreads：

# 启动同时访问FTP站点的线程最大数目

附录：
Upoad.pl内容：
#!/usr/bin/perl-w

####################################################################
#
# 工程项目： FTP自动上传两类文件
#
# 模块名称： FTPAutoUpload
#
# 模块任务： 按照指定的文件夹目录，自动将该文件夹下的所有文件上传到指定ftp站点的指定目录下
#
# 程序名称: Upload.pl
#
# 程序员： Uwe Keim
# 郑昀
# 历史记录：
# 编号日期作者备注
# 1 2000 Uwe Keim 创建
# 2 2005.1.5 郑昀 加入容错处理和读取外部配置文件部分

# 3 2005.1.14 郑昀 加入多线程支持
#
####################################################################

#use strict;

##================================================================##

## 引用的库声明 1

## 读取ini配置文件的库

use Config::IniFiles;

my $cfg = Config::IniFiles->new( -file => "Upload.config" );

## 启动同时访问FTP站点的线程最大数目 ##

$config_maxthreads = $cfg->val('Threads', 'maxthreads') || 1;

##================================================================##

## 引用的库声明 2

use File::Copy;

use File::stat;

use File::Find;

use Net::FTP;

use Date::Pcalc qw(Delta_DHMS);

use Date::Parse;

#！！use Win32::OLE; # 加入这个库会导致Perl执行线程时崩溃

#！！use Win32::OLE::Variant; # 加入这个库会导致Perl执行线程时崩溃

##================================================================##

## 引用的库声明 3

# Perl<chsdate year="1899" month="12" day="30" islunardate="False" isrocdate="False" w:st="on">5.6.0</chsdate>已经加入了ithreads支持

use threads; #导入threads多线程处理包

use threads::shared; #使用线程间共享变量

my $MaxThreads = $config_maxthreads; #最多线程数（1-65），perl最多允许64个子线程，加上主线程因此最多65个线程

#此次设置是从配置文件读取的

# 在定义全局并线程间共享的变量时，要这样写

my $CurrentThreads: shared = 0; #当前线程总数

## $total_files是上传文件的数目

my $total_files: shared = 0;

## $processed_files是已上传文件的数目

my $processed_files: shared = 0;

## $skipped_files是跳过文件的数目

my $skipped_files: shared = 0;

## FTP重试次数

my $ftp_retrytimes: shared = 0;

## $g_nIsAllWAVsFile_UploadSuccess代表是否已经完全将语音文件上传,-1为不是，1为是：

my $g_nIsAllWAVsFile_UploadSuccess: shared = 1;

# 因为在Perl的实现中，线程并不是像pthread那样共享变量，而是大家都分开，如同原来的进程一样。

# 如果想让一个变量共享，须要显式地指定它才行。

##================================================================##

## 从配置文件读取外部参数 ##

## FTP服务器的IP地址 ##

my $ftp_server = $cfg->val('FTPServer', 'ftp_server') || '';

## 指定的FTP上传目录路径 ##

#! 切记：文件夹最后不要加"/"符号 !#

my $ftp_dir = $cfg->val('FTPServer', 'ftp_dir') || '';

## FTP的登陆用户名 ##

my $ftp_uid = $cfg->val('FTPServer', 'ftp_uid') || '';

## FTP的登陆密码 ##

my $ftp_pw = $cfg->val('FTPServer', 'ftp_pw') || '';

## FTP的访问超时时间，以秒为单位，默认设置为30分钟 ##

my $ftp_timeout = $cfg->val('FTPServer', 'ftp_timeout') || 1800;

####$ftp_timeout = 1800;

## FTP上传一个文件的重试次数，如果重试这么多次都失败之后，报告错误 ##

$ftp_retrytimes = $cfg->val('FTPServer', 'ftp_retrytimes') || 3;

####$ftp_retrytimes = 3;

## FTP的详细的调试信息输出 ##

$ftp_debug = $cfg->val('FTPServer', 'ftp_debug') || 0;

####$ftp_debug = 0;

## 指定文件夹“语音文件”，放置所有要上传的语音文件 ##

#! 切记：文件夹最后不要加"\\"符号 !#

my @src_dir_WAVFiles = $cfg->val('SrcDirectory', 'src_dir_WAVFiles');

## 指定文件夹“命名对照列表文件TXT”，放置命名对照列表文件 ##

#! 切记：文件夹最后不要加"\\"符号 !#

my @src_dir_NamesListFile = $cfg->val('SrcDirectory', 'src_dir_NamesListFile');

## 一个字符串集合，表明哪些类型的文件/文件夹将不被上传到服务器 ##

my @wc_exclude = ("_vti",".log","\\bak","\\data","server.inc");

##================================================================##

## 记录全部过程的日志文件准备

my $logfilename = 'upload.log';

my $log_cnt = 0;

my $span = 0;

LOG("");

LOG("郑昀(R) 自动上传两类文件 Version 0.1");

LOG("");

LOG("用法： Perl FTPUpload.MultiThread.pl");

LOG("");

##================================================================##

##=== 程序执行的第一步：尝试登陆ftp站点 ==========================##

## $start_date计算出当前开始的时间

my $start_date = timeString(time);

## $g_nUploadSuccess代表是否已经完全上传,-1为不是，1为是：

my $g_nUploadSuccess = 1;

## $g_strLastError代表上次错误原因：

my $g_strLastError = "";

LOG("正在链接至指定FTP服务器($ftp_server)...");

# 第二个参数用于指定超时时间

my $ftp = Net::FTP->new($ftp_server, Debug=>$ftp_debug, Timeout=>$ftp_timeout);

if($@)

{

$g_strLastError = "不能连接到FTP服务器,错误原因:".$@;

LOG("$g_strLastError@\n");

$g_nUploadSuccess = -1;

}

else

{

$ftp->login($ftp_uid, $ftp_pw);

if($@)

{

$g_strLastError = "不能登陆FTP服务器,错误原因:".$@;

LOG("$g_strLastError\n");

$g_nUploadSuccess = -1;

}

else

{

LOG("链接FTP服务器成功!");

## 关闭连接

$ftp->quit() or warn "咦，为什么不能够和FTP服务器断开连接呢？: $@\n";

##================================================================##

##=== 程序执行的第二步，将指定文件夹“语音文件”下所有语音文件上传到FTP站点指定目录下 ===##

#my %lookup;

LOG("准备上传“语音文件”目录(@src_dir_WAVFiles)下的所有文件!");

find(\&processFiles, @src_dir_WAVFiles);

LOG("目录(@src_dir_WAVFiles)已经处理完毕，结果是：");

foreach my $thread (@$self)

{

print("Joining thread\n");

# join() does three things: it waits for a thread to exit,

# cleans up after it, and returns any data the thread may

# have produced.

$$thread->join();

}

##================================================================##

##=== 程序执行的第三步，将指定文件夹“命名对照列表文件TXT”下文件上传到FTP站点指定目录下 ===##

if($g_nIsAllWAVsFile_UploadSuccess > 0)

{

LOG("+===============================+");

LOG("准备上传“语音文件”目录(@src_dir_NamesListFile)下的所有文件!");

@$self = {};

find(\&processFiles, @src_dir_NamesListFile);

foreach my $thread (@$self)

{

print("Joining thread\n");

$$thread->join();

}

LOG("目录(@src_dir_NamesListFile)已经处理完毕，结果是：");

LOG("-===============================-");

}

else

{

LOG("-===============================-");

LOG("由于语音文件目录并没有完全上传，所以本命名对照文件不上传!");

LOG("-===============================-");

}

##================================================================##

iteye_3606

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫