Perl抓取网页和提交表格

用Perl抓取网页和提交表格

这里简单介绍一下用Perl来实现抓好取网页的源代码，以及用POST的方法来提交表格，并返回结果。难的讲不来，讲讲简单的。

这里讲到的Perl模块有：

useLWP::Simple;useLWP::UserAgent;用Perldoc查看详细的用法。

1，用Perl抓取网页

如果只是要拿到某个网页，那使用LWP::Simple里的函数是最简单的。通过调用get($url)函数，就可以得到相关网址的内容。

1. my$url='http://freshair.npr.org/dayFA.cfm?todayDate=current' 
2.  
3. useLWP::Simple;  
4. my$content=get$url;  
5. die"Couldn'tget$url"unlessdefined$content;  
6.  

#$content里是网页内容，下面是对此内容作些分析：

1. if($content=~m/jazz/i){  
2. print"They'retalkingaboutjazztodayonFreshAir!\n";  
3. }else{  
4. print"FreshAirisapparentlyjazzlesstoday.\n";  
5. } 

非常简单易懂。拿网页内容是容易的，难的是用正则过滤需要的内容。

2，通过POST提交表格

部分HTML表格使用HTMLPOST向服务器提交数据，在这里你可以这样：

1. $response=$browser->post($url,  
2. [  
3. formkey1=>value1,  
4. formkey2=>value2,  
5. ...  
6. ],  
7. ); 

实例分析：例如在http://www.enzim.hu/hmmtop/html/submit.html)提交一段序列并返回结果，用Perl来实现。代码如下：

1. #!/usr/bin/Perl  
2.  
3. useLWP::UserAgent;  
4. my$browser=LWP::UserAgent->new;  
5. $protein="MSSSTPFDPYALSEHDEERPQNVQSKSRTAELQAEIDDTVGIMRDNINKVAERGERLTSI";  
6. my$SUSUI_URL="http://www.enzim.hu/hmmtop/server/hmmtop.cgi";  
7. my$response=$browser->post($SUSUI_URL,['if'=>$protein,]);  
8.  
9. if($response->is_success){  
10.  print$response->content;  
11. }else{  
12.  print"Badluckthistime\n";  
13. }  

通过分析http://www.enzim.hu/hmmtop/html/submit.html的页面可知，这个要提交的input只有一个，就是name="if"。$protein就是要提交的序列。$response->content就是返回结果。