perl中LWP与WEB的基本使用

最新推荐文章于 2024-04-16 23:46:59 发布
最新推荐文章于 2024-04-16 23:46:59 发布
阅读量9.8k 收藏 5
点赞数 1
分类专栏： php/perl/shell 文章标签： perl web browser cookies url html

取自 PerlChina.org - wiki

LWP 与 WEB 的基本使用


目录

[隐藏]
<script type="text/javascript"> if (window.showTocToggle) { var tocShowText = "显示"; var tocHideText = "隐藏"; showTocToggle(); } </script>


[编辑] 简介

LWP ("Library for WWW in Perl" 的缩写) 是一个由多个模块组成，用来获取网络数据的的模块组。 和很多 Perl 的模块一样。每一个 LWP 模块都自带详细的文档，做为对这个模块的完整介绍。可是面对 LWP 里的众多模块，有时候即使是完成最简单的工作，新手们也常常不知道从那里开始。

要对 LWP 做全面的介绍需要一整本书，很幸运，Perl & LWP 已经出版。而这篇文章向你介绍了最常见的 LWP 用法。

[编辑] 使用 LWP::Simple 获取网页

如果只是要拿到某个网页，那使用 LWP::Simple 里的函数是最简单的。

通过调用 get($url) 函数，就可以得到相关网址的内容。如果没有发生错误，get 函数返回此网页，否则，返回 undef。例子如下： 

  my $url = 'http://freshair.npr.org/dayFA.cfm?todayDate=current'

  use LWP::Simple;
  my $content = get $url;
  die "Couldn't get $url" unless defined $content;

  #  $content 里是网页内容，下面是对此内容作些分析：

  if($content =~ m/jazz/i) {
    print "They're talking about jazz today on Fresh Air!/n";
  } else {
    print "Fresh Air is apparently jazzless today./n";
  }

如果要在命令行里运行，getprint 函数非常方便。如果没有发生错误，它会把网页内容输出到 STDOUT，否则将会有错误信息输出到 STDERR。 例如: 

   % perl -MLWP::Simple -e "getprint 'http://cpan.org/RECENT'"

上面的网址指向一个文本文件，列有最近两个星期内 CPAN 更新过的文件。如果想要知道 Acme:: 的模块是否有更新，有就email 自己，你可以把它和 Shell 结合到一起来实现。如下： 

  % perl -MLWP::Simple -e "getprint 'http://cpan.org/RECENT'"  /
     | grep "/by-module/Acme" | mail -s "New Acme modules! Joy!" $USER

LWP::Simple 还有一些非常有用的函数，包括一个运行HEAD请求的函数，用来检查链接是否有效，网页是否更新。另外两个用来保存和镜像网址的函数也值得一提。具体请看 LWP::Simple 的文档或 Perl & LWP 的第二章.

[编辑] LWP Class 模型基础

LWP::Simple 在做简单的工作时很方便。但因为不支持 cookies，用户认证，对 HTTP request header （请求标头）的编辑，和 HTTP resonse header（响应标头）的读写（主要是 HTTP 的 error message）。因此，当需要这些特性的时候，就要使用 LWP Class 模型。

在众多的 LWP Class 里，LWP::UserAgent 和 HTTP::Response 是必须理解的。LWP::UserAgent 就像一个虚拟浏览器用来作 request （请求）。HTTP::Response 用来储存 request （请求） 生成的 response（响应）。

最基本的用法是 $response = $browser->get($url), 或写的更完整些 : 

  # 程序开始:
  
  use LWP 5.64; # 载入较新版本的 LWP classes 

  my $browser = LWP::UserAgent->new;
  
  ...
  
  # get request:
  my $url = 'http://freshair.npr.org/dayFA.cfm?todayDate=current';
  
  my $response = $browser->get( $url );
  die "Can't get $url -- ", $response->status_line
   unless $response->is_success;

  die "Hey, 我想要 HTML 格式而不是 ", $response->content_type
   unless $response->content_type eq 'text/html';
     # 或者任何其他的 content-type

  # 成功的话就对内容处理
  
  if($response->content =~ m/jazz/i) {
    print "Fresh Air 今天在讨论爵士乐!/n";
  } else {
    print "Fresh Air 今天讨论的和爵士乐一点边都不沾./n";
  }

上面有两个相关的 object： $browser，是 LWP::UserAgent 的一个object。$response 是属于 HTTP::Response 类的一个object。一个程序里只需要一个 $browser object，但是每次发出一个 request，就会得到一个新的 HTTP::Response object。 

HTTP::Response object 有以下一些有价值的属性:
  • 一个 status code（状态代码值），表示成功或失败。你可以使用 $response->is_success 来检测它。
  • http status line（http 状态描述），观察 $response->status_line 的结果 ( 比如 "404 Not Found" ) 会帮助你理解这个词的意思。
  • MIME content-type（文件类型）通过 $response->content_type 来获得。例如 "text/html"，"image/gif"，"application/xml" 等等。
  • content of the response（响应返回的内容）储存在 $response->content。内容可能是 html 格式。如果是 GIF 格式，$response->content 里是二进制的 GIF 数据。
  • 许多其他 methods 都可以在 HTTP::Response 和它的 superclasses （父 class） HTTP::Message 和 HTTP::Headers 里找到。

[编辑] 添加其他 HTTP 请求 headers

request (请求) 常用的方法是 $response = $browser->get($url)，但如果需要，你可以在 $url 后跟一个键值的列表来给你的 request 加上其他 HTTP headers。象这样 : 

   $response = $browser->get( $url, $key1, $value1, $key2, $value2, ... );

举个例子，如果你要对一个只允许 Netscape 浏览器连入的网站发出请求，那就需要发出类似 Netscape 的 header，如下: 

  my @ns_headers = (
   'User-Agent' => 'Mozilla/4.76 [en] (Win98; U)',
   'Accept' => 'image/gif, image/x-xbitmap, image/jpeg, 
        image/pjpeg, image/png, */*',
   'Accept-Charset' => 'iso-8859-1,*,utf-8',
   'Accept-Language' => 'en-US',
  );

  ...
  
  $response = $browser->get($url, @ns_headers);


如果不打算重复使用这个 array，你可以把它写到 get 函数里


If you weren't reusing that array, you could just go ahead and do this: 

  $response = $browser->get($url,
   'User-Agent' => 'Mozilla/4.76 [en] (Win98; U)',
   'Accept' => 'image/gif, image/x-xbitmap, image/jpeg, 
        image/pjpeg, image/png, */*',
   'Accept-Charset' => 'iso-8859-1,*,utf-8',
   'Accept-Language' => 'en-US',
  );


如果只是打算修改 User-Agent，可以通过 LWP::UserAgent 的 agent 方法把缺省的agent 'libwww-perl/5.65'（或者别的）改掉。 

   $browser->agent('Mozilla/4.76 [en] (Win98; U)');

[编辑] 使用 cookies

默认的LWP::UserAgent对象像一个不支持cookies的浏览器一样工作。有不只一种的办法可以设定它的cookie_jar属性，从而让它支持cookies。“cookie jar” 是一个用来储存 HTTP cookie 的容器。你可以把它存到硬盘（像Netscape使用cookies.txt一样）或内存里。存到内存里的 cookies 会在程序完成后消失。

内存式的 cookie 使用方法: 

$browser->cookie_jar({});

也可以把 cookie 储存到硬盘的文件里： 

 use HTTP::Cookies;
  $browser->cookie_jar( HTTP::Cookies->new(
    'file' => '/some/where/cookies.lwp',
        # 储存 cookies 的地址
    'autosave' => 1,
        # 当完成后自动储存到硬盘里
  ));

文件里的 cookie 是以 LWP 自定的格式储存，如果你想在 netscape 里使用这个 cookie 文件，可以使用 HTTP::Cookies::Netscape class : 

  use HTTP::Cookies;
    # yes, loads HTTP::Cookies::Netscape too
  
  $browser->cookie_jar( HTTP::Cookies::Netscape->new(
    'file' => 'c:/Program Files/Netscape/Users/DIR-NAME-HERE/cookies.txt',
        # where to read cookies
  ));

你也可以象上面一样使用 'autosave' => 1 。 但 Netscape 的 cookie 有时会在写入硬盘之前就被丢掉，至少在写这篇文章的时候还是这样。

[编辑] 通过 POST提交表格

大部分HTML表格使用HTML POST 向服务器提交数据，在这里你可以这样： 

 $response = $browser->post( $url,
   [
     formkey1 => value1, 
     formkey2 => value2, 
     ...
   ],
 );

或者你也可以把 HTTP header 也一起发出 

 $response = $browser->post( $url,
   [
     formkey1 => value1, 
     formkey2 => value2, 
     ...
   ],
   headerkey1 => value1, 
   headerkey2 => value2, 
 );

下一个例子向 AltaVista 的搜索引擎发送 HTTP POST 请求，然后从HTML里提取出符合匹配的总数。 

  use strict;
  use warnings;
  use LWP 5.64;
  my $browser = LWP::UserAgent->new;
  
  my $word = 'tarragon';
  
  my $url = 'http://www.altavista.com/sites/search/web';
  my $response = $browser->post( $url,
    [ 'q' => $word,  # the Altavista query string
      'pg' => 'q', 'avkw' => 'tgz', 'kl' => 'XX',
    ]
  );
  die "$url error: ", $response->status_line
   unless $response->is_success;
  die "Weird content type at $url -- ", $response->content_type
   unless $response->content_type eq 'text/html';

  if( $response->content =~ m{AltaVista found ([0-9,]+) results} ) {
    # 从 "AltaVista found 2,345 results" 里匹配出结果
    print "$word: $1/n";
  } else {
    print "Couldn't find the match-string in the response/n";
  }

[编辑] 通过 GET 提交表格

一些HTML表格不使用 POST 请求，而是使用 GET 请求来传输数据。例如，在 imdb.com 里检索电影名字 'Blade Runner', 提交后在浏览器的网址栏里将显示 : 

  http://us.imdb.com/Tsearch?title=Blade%20Runner&restrict=Movies+and+TV

下面是使用 LWP 实现同样的结果 : 

  use URI;
  my $url = URI->new( 'http://us.imdb.com/Tsearch' );
    # makes an object representing the URL
  
  $url->query_form(  # And here the form data pairs:
    'title'    => 'Blade Runner',
    'restrict' => 'Movies and TV',
  );
  
  my $response = $browser->get($url);

第5章详细描述了 HTML 表格和表格数据，第6章到第9章描述了怎样从获得的HTML数据里提取出有用的信息。

[编辑] URL 处理

上面提到的 URI 提供很多获取和修改 URL 的方法。例如 如果想要知道 url 是什么类型 (http, ftp 等等) 可以使用 $url->schema 来得到，如果要提取网址里的主机名，可以使用 $url->host。不过，可能最有用的是我前面提到的 query_form 方法，以及把相对网址路径（如"../foo.html"）转换成绝对路径（如"http://www.perl.com/stuff/foo.html"）的 new_abs 方法。例子如下： 

  use URI;
  $abs = URI->new_abs($maybe_relative, $base);

现在回忆一下获取最新 CPAN 模块的那个例子。 

  use strict;
  use warnings;
  use LWP 5.64;
  my $browser = LWP::UserAgent->new;
  
  my $url = 'http://www.cpan.org/RECENT.html';
  my $response = $browser->get($url);
  die "Can't get $url -- ", $response->status_line
   unless $response->is_success;
  
  my $html = $response->content;
  while( $html =~ m//<A HREF=/"(.*?)/"/g ) {    
      print "$1/n";  
  }

输出的结果是 

  MIRRORING.FROM
  RECENT
  RECENT.html
  authors/00whois.html
  authors/01mailrc.txt.gz
  authors/id/A/AA/AASSAD/CHECKSUMS
  ...

你可以使用 URI 模块的 new_abs 方法来得到完全网址路径，修改 while 循环： 

  while( $html =~ m/<A HREF=/"(.*?)/"/g ) {    
      print URI->new_abs( $1, $response->base ) ,"/n";
  }

$response->base 方法可以在 HTTP::Message 里找到。它返回的 URL 通常被用来和相对路径合并来得到完全路径。现在得到的结果是 

  http://www.cpan.org/MIRRORING.FROM
  http://www.cpan.org/RECENT
  http://www.cpan.org/RECENT.html
  http://www.cpan.org/authors/00whois.html
  http://www.cpan.org/authors/01mailrc.txt.gz
  http://www.cpan.org/authors/id/A/AA/AASSAD/CHECKSUMS
  ...

请参考 Perl & LWP 的第四章，以得到对 URI objects 更详细的描述。

当然，使用 regexp (正则表达式) 来匹配 url 相对简单，如果情况复杂,需要更强大的匹配工具，可以考虑 HTML 分析模块 HTML::LinkExtor 或 HTML::TokeParser，甚至 HTML::TreeBuilder

[编辑] 其他浏览器属性

LWP::UserAgent objects 有几个值得注意的属性 :

  • $browser->timeout(15): 设定缺省 request 的 timeout 时间.超过这个时间就放弃请求。
  • $browser->protocols_allowed( [ 'http', 'gopher'] ): 这用来设定只接受 http 和 gopher 协议。连接其他协议时就返回 500 错误值，"Access to ftp URIs has been disabled" 的错误消息。
  • 这告诉 browser object 使用 HTTP/1.1 "keep-Alive" 特性，即重复使用先前的 socket 来加快请求速度。 
use LWP::ConnCache;
$browser->conn_cache(LWP::ConnCache->new()): 
 
  • $browser->agent( 'SomeName/1.23 (more info here maybe)' ): 设置 HTTP 请求的 User-Agent。LWP 缺省使用 "libwww-perl/versionnumber" 作为 User-Agent，比如 "libwww-perl/5.65"。
    • 你可以加上更多的信息:
      • $browser->agent( 'SomeName/3.14 (contact@robotplexus.int)' );
    • 或者可以伪装为
      • $browser->agent( 'Mozilla/4.0 (compatible; MSIE 5.12; Mac_PowerPC)' );
  • push @{ $ua->requests_redirectable }, 'POST': 告诉 LWP 在 POST 请求发送后如果发生重新定向就自动跟随 ( 虽然 RFC 里不要求这么做 ) ， 详细请参见 LWP::UserAgent 文档

[编辑] 写一个有礼貌的机器人

如果想遵循 robots.txt 和避免在较短的时间发出太多的请求，你可以采用 LWP::RobotUA 而不是 LWP::UserAgent。

LWP::RobotUA 用法与 LWP::UserAgent 一样: 

  use LWP::RobotUA;
  my $browser = LWP::RobotUA->new(
    'YourSuperBot/1.34', 'you@yoursite.com');
    # 机器人名字和 email 地址

  my $response = $browser->get($url);

HTTP::RobotUA 多了几个特性:

  • 如果 $url 请求的服务器的 robots.txt 禁止了你对 $url的访问，那么 $browser 就不会发出对于这个地址的请求，而是返回 403 代码和一个错误信息 "Forbidden by robots.txt"。 
    die "$url -- ", $response->status_line, "/nAborted"
   unless $response->is_success;

然后你会得到这样的错误信息： 

  
      http://whatever.site.int/pith/x.html -- 403 Forbidden 
      by robots.txt
      Aborted at whateverprogram.pl line 1234
  • 如果 $browser 发现请求的地址是刚刚请求过的，就会暂停 (sleep) 来避免发送太多的请求。缺省暂停 1 分钟，但可以通过 $browser->delay( minutes ) 来设定。比如： 
     $browser->delay( 7/60 );

详细请参见 LWP::RobotUA文档

[编辑] 使用代理

有时你希望（或者是必须）通过代理来连接某些站点或协议，就比如你的LWP程序是运行在某台处于防火墙之内的机器上。

代理通常储存在环境变量 HTTP_PROXY 里。LWP 可以通过 user-agent object 里的 env_proxy 函数把环境变量里的代理地址装载。 

  use LWP::UserAgent;
  my $browser = LWP::UserAgent->new;
  
  # And before you go making any requests:
  $browser->env_proxy;

详细请参照 LWP::UserAgent 文档里的 proxy, env_proxy 和 no_proxy 方法

[编辑] HTTP 认证

许多网站都是通过 HTTP 认证来限制连接. 当用户请求一个限制页面时, HTTP 服务器回复 "That document is part of a protected 'realm' and you can access it only if you re-request it and add some special authorization headers to your request". ( 你现在请求了一个限制区域 , 如果你需要重新发送一个带有认证信息的 header 才可以连入. )

Unicode.org 的管理员为了防止机器人访问邮件组获取发信人地址，要求先进行 HTTP 认证。用户名和密码是公开的：用户名: unicode-ml 密码: unicode

假设一个限制页面的地址是

http://www.unicode.org/mail-arch/unicode-ml/y2002-m08/0067.html

如果你在浏览器里请求这个地址，一个新的窗口跳出，显示 "Enter username and password for 'Unicode-MailList-Archives' at server 'www.unicode.org'"。请你输入用户名和密码，就像这样：

Image:Burke_auth_snapshot.gif

单纯使用 LWP 请求这个网址 : 

  use LWP 5.64;
  my $browser = LWP::UserAgent->new;

  my $url =
   'http://www.unicode.org/mail-arch/unicode-ml/y2002-m08/0067.html';
  my $response = $browser->get($url);

  die "Error: ", $response->header('WWW-Authenticate') || 
    'Error accessing',
    #  ('WWW-Authenticate' is the realm-name)
    "/n ", $response->status_line, "/n at $url/n Aborting"
   unless $response->is_success;

你将得到以下错误: 

   Error: Basic realm="Unicode-MailList-Archives"
   401 Authorization Required
   at http://www.unicode.org/mail-arch/unicode-ml/y2002-m08/0067.html
   Aborting at auth1.pl line 9.  [or wherever]

这是因为 LWP 不知道 host www.unicode.org 里的 "Unicode-MailList-Archives" 区的用户名和地址。解决这个问题最简单的方法是使用 credentials 方法来提供用户名和密码： 

   $browser->credentials(
    'servername:portnumber',
    'realm-name',
    'username' => 'password'
  );

通常, 端口是 80. credentials 函数要在发请求之前调用.比如: 

  $browser->credentials(
    'reports.mybazouki.com:80',
    'web_server_usage_reports',
    'plinky' => 'banjo123'
  );

我们的 unicode.org 的例子可以写成 

  $browser->credentials(  # add this to our $browser 's "key ring"
    'www.unicode.org:80',
    'Unicode-MailList-Archives',
    'unicode-ml' => 'unicode'
  );

[编辑] 连接 HTTPs URLs

只要有安装 LWP 的HTTPs 的支持, 访问 HTTPs URLs 的方法和 HTTP 一样 

  use LWP 5.64;
  my $url = 'https://www.paypal.com/';   # Yes, HTTPS!
  my $browser = LWP::UserAgent->new;
  my $response = $browser->get($url);
  die "Error at $url/n ", $response->status_line, "/n Aborting"
   unless $response->is_success;

  print "Whee, it worked!  I got that ",
   $response->content_type, " document!/n";

如果没有 HTTPs 的支持, 如下错误信息会显示 

   Error at https://www.paypal.com/
   501 Protocol scheme 'https' is not supported
   Aborting at paypal.pl line 7.   [or whatever program and line]

如果你安装了 LWP 的 HTTPS 支持的话，你的请求应该是成功的，你可以像对待普通的 HTTP 请求一样处理 $response 对象。

关于安装 HTTPS 支持的信息可以在libwww-perl 里的README.SSL 文件找到.

[编辑] 获取大文件

请求较大的文件时, 普通的请求方法 ( 例如 $response = $browser->get($url) ) 会给你带来内存问题. 因为 $response 储存着整个文件. 如果请求了一个 30MB 的文件, 那可能不是什么明智的做法.

一个解决方法是把文件存到硬盘 

   $response = $ua->get($url,
                         ':content_file' => $filespec,
                      );

比如： 

  $response = $ua->get('http://search.cpan.org/',
                         ':content_file' => '/tmp/sco.html'
                      );

当使用 content_file 时, headers 还是在$response, 但$response->content 是空.

值得注意的是LWP 5.66 之前的版本不支持content_file . 你应该使用 use LWP 5.66; 如果你的程序可能运行在低版本的 LWP 上, 你也可以使用下面的例子来保证兼容性, 这与 content_file 有同样效果. 

  use HTTP::Request::Common;
  $response = $ua->request( GET($url), $filespec );

[编辑] 资源

以上只是对 LWP 常用函数的简介, 如果想了解更多关于 LWP 和 LWP 相关的东西, 请参阅以下文档

[编辑] 与 Sean Burke 讨论后的一些笔记

在翻译这篇文章的时候,我联系到了文章作者, Sean Burke. 他同意把原文章里需要补充和更新的地方指出. 我与作者也通过 MSN 交流了一下. 这里我把自己对 LWP 的理解和作者的补充写在这里.

  • 在文章里提到了使用 
     use LWP::ConnCache;<br>
     $browser->conn_cache(LWP::ConnCache->new()):

这告诉 browser object 使用 HTTP/1.1 "keep-Alive" 特性, 即重复使用先前的 socket 来加快请求速度. 你也可以在 new LWP::UserAgent 时为 $browser 加上 "keep-Alive" 特性, 如下 

      use LWP;
      $browser = new LWP::UserAgent(keep_alive => 1);
  • 不要忘记 response object 的 header 通常有很多非常值得注意的信息, 你可以通过 headers_as_string 和 as_string 函数来得到. 下面是使用 headers_as_string 返回的例子 
     use LWP;
     my $br = LWP::UserAgent->new;
     my $resp = $br ->get('http://www.pulse24.com'); 
     print $resp->headers_as_string";

     输出结果: 

     Cache-Control: private, max-age=0
     Connection: close
     Date: Sun, 16 Jan 2005 04:18:26 GMT
     Server: Microsoft-IIS/6.0
     Content-Length: 432
     Content-Type: text/html
     Content-Type: text/html; charset=iso8859-1
     Client-Date: Sun, 16 Jan 2005 04:18:09 GMT
     Client-Peer: 207.61.136.40:80
     Client-Response-Num: 1
     REFRESH: 0;URL=http://www.pulse24.com/Front_Page/page.asp
     X-Meta-Robots: noindex
     X-Powered-By: ASP.NET

你也可以通过 $response->header('field') 来获得想要的特别 header. 象上面的例子, 如果要访问的网页使用了 meta refresh : 

<META HTTP-EQUIV="REFRESH" CONTENT="0;URL=http://www.pulse24.com/Front_Page/page.asp">

你可以使用 $response->header('refresh') 来拿到 refresh 的 url 地址, 选择是否继续跟进.

  • LWP::UserAgent 支持 4 种 HTTP 地址重定向，http status code 分别是：301 Moved Permanently, 302 Found, 303 See Other, 307 Temporary Redirect

注：在以上的HTTP 地址重定向基础上，LWP 缺省支持 'Head' 和 'Get' 方法的地址重定向跟踪。如果你想跟踪 'POST' 的地址重定向，需要以下声明 （$ua 是 LWP::UserAgent 的一个对象）。这主要用于使用 Post 方法提交表格后的地址重定向。 

push @{ $ua->requests_redirectable }, 'POST';
  • 有些时候, 浏览器可以正常访问到的地址, LWP 却不行. 一般是因为你的 LWP 的 header, referer , cookie 或 user-agent 等的设定与对方网络服务器允许连入的不同. 为了找到问题所在, 你需要比较浏览器发出的请求和你的 LWP 发出的请求有何不同, 然后修改再尝试. 很多时候这是反反复复的工作. 我最早使用 Ethereal 来监视,抓取数据, 目前使用 Firefox 的 LiveHTTPHeaders 插件. 现在LWP 也自带一个数据分析模块 http://search.cpan.org/~gaas/libwww-perl-5.803/lib/LWP/DebugFile.pm'>LWP::DebugFile 来帮助你找到问题.
  • 另外, 文章里提到了 HTTP::Cookies::Netscape , 现在LWP Cookies 模块支持更多浏览器: Mozilla, Safari , Omniweb
  • 很多时候表格与 javascript 一起使用, LWP 没有分析 Javascript 的引擎，所以你必须分析网页源码里 Javascript 来决定怎样处理. 
function Submit()
{
                ......... 
	self.document.location.href="verify.php";

	return false;
}


........

<form>
......

<input type=button value="Submit your page" onClick="javascript:Submit();return false;//">

上面的这个例子通过表格提交来触动 javascript 的 submit 函数, 最后调用了 verify.php. 现在你就可以跳过所有的 javascript 而直接对 verify.php 来提交.  

hankwangwang
关注
专栏目录
perl LWP 模块详解
01-04
LWP ("Library for WWW in Perl" 的缩写) 是一个由多个模块组成，用来获取网络数据的的模块组。 和很多 Perl 的模块一样。每一个 LWP 模块都自带详细的文档，做为对这个模块的完整介绍。可是面对 LWP 里的众多模块，有时候即使是完成最简单的工作，新手们也常常不知道从那里开始。 要对 LWP 做全面的介绍需要一整本书，很幸运，Perl & LWP 已经出版。而这篇文章向你介绍了最常见的 LWP 用法。
perl的LWP模块介绍
zhangxinrun的专栏
06-13 2624
<br />一 LWP::Simple 功能<br />1. 如何在Perl中使用该模块？use LWP::Simple;<br />2. 如何获取一个页面内容？my $content = get(’http://www.yahoo.com.cn’);<br />get函数把从www.yahoo.com.cn上获取得页面内容全部赋给$content这个变量，如果获取失败将返回一个undef的值。<br />3. 如何获取头(Header)？my (b, d, $e) = header(’http://www
perl中LWP模块的使用
徐杰的专栏
10-13 1901
很久没发贴了，今天发个帖子，专门介绍下LWP模块常用的功能。（1）最重要的一大功能是查看网页源文件，我们可以通过perl已有的方法查看网页源文件，然后可以进行适当的分析，得到自己想要的结果。perl脚本如下： #!/usr/local/bin/perluse CGI qw(:all);use LWP;open (AIM,">F:/SFDA的源代码") or die $!;my
perl and LWP 文档
zlf0727的专栏
04-11 1412
LWP( Library for Web access in Perl)能做到什么？1. 使用URL对远程Web Server读取文件。2. 对Web Serve利用POST 方式送出form request。3. 对远程Webserver最近更新的文件作更新动作。4. 解析HTML 文件，取得其中的「连结」与一些需要的数据。5. 将HTML转成纯文本文件或Postscript档案。6. 处理co
perl and lwp
09-13
LWP 是一个Perl模块集合，允许开发人员编写能够与Web服务器交互的程序，包括发送HTTP请求并处理响应。以下是对Perl和LWP网络爬虫的深入解释： 首先，Perl是一种功能强大的脚本语言，广泛应用于文本处理、系统管理...
Perl and LWP 高清版
12-26
本章为读者介绍了Web自动化的基本概念，阐述了为什么使用Perl和LWP来完成Web自动化任务，以及如何开始编写一个简单的网络爬虫脚本。 第二章：Web基础。本章讲述了Web工作的基础知识，包括Web服务器、HTTP协议以及...
Perl与LWP：网络自动化指南
在Perl and LWP中，作者首先介绍了Web自动化的基本概念，帮助读者理解为何需要这样的工具以及它在实际工作中的应用。接着，书中的第二章阐述了Web的基础知识，包括HTTP协议的基本原理和网页结构。第三章深入到LWP的...
使用Perl进行Web / HTTP自动化
04-11
在这个主题中，我们将深入探讨如何利用Perl来处理Web相关的任务，包括模拟用户与Web应用程序的交互、发送HTTP请求以及解析返回的HTML或JSON数据。 描述中提到的“Java小程序或Flash内容发出HTTP请求”意味着我们...
perl&lwp.pdf
06-16
LWP(Library for Web access in Perl)：perl网页爬取工具。 原版chm，转成pdf方便打印。删去了一些冗余信息。后附附录和索引。
PERL LWP
ritazuozuo的专栏
05-08 790
#! /usr/bin/perl use LWP::Simple; use Encode; my $targetfile = "C:/Users/Administrator/Desktop/123.txt"; open(TARGETHANDLE, ">".$targetfile); my $url='http://www.baidu.com/s?wd=百度'
LWP 与 WEB 的基本使用
Lynn.Zhou的专栏
03-01 4106
简介LWP (“Library for WWW in Perl” 的缩写) 是一个由多个模块组成，用来获取网络数据的的模块组。 和很多 Perl 的模块一样。每一个 LWP 模块都自带详细的文档，做为对这个模块的完整介绍。可是面对 LWP 里的众多模块，有时候即使是完成最简单的工作，新手们也常常不知道从那里开始。要对 LWP 做全面的介绍需要一整本书，很幸运，Perl & LWP 已经
perl lwp关闭ssl校验
weixin_30608503的博客
04-12 143
use LWP::UserAgent; use HTTP::Cookies; use HTTP::Headers; use HTTP::Response; use Encode; use File::Temp qw/tempfile/; my $ua = LWP::UserAgent->new( ssl_opts => { verify_hostname => 0 }, ...
per&LWP学资料（备用）
This is my house!
09-27 511
http://wiki.perlchina.org/index.php/LWP%E4%B8%8EWEB%E7%9A%84%E5%9F%BA%E6%9C%AC%E4%BD%BF%E7%94%A8#.E7.AE.80.E4.BB.8B
Perl LWP模块
zhaoyangjian724的专栏
07-07 943
网页的response header信息: LWP :Library for WWW access in Perl LWP(3) User Contributed Perl Documentation LWP(3) NAME LWP - The World-Wide Web library for Perl L
perl&LWP 综述
tingirl的专栏
11-23 2141
<br />Perl&LWP这本书讲的是Perl 里面用来完成HTTP方法的lib。<br /> <br />开篇有句话写的好。三件事让web服务成为可能：HTML编码、HTTP传递、URL来定位。要理解这三件事，才能透彻的用perl完成浏览器完成的工作。<br /> <br />基于此，用perl完成浏览器完成的工作必须要满足：分析URL、提取HTML、构造HTTP方法、解析HTML。<br /> <br />【开始使用Perl】<br />#!usr/bin/perl<br />#test.pl<br
Perl LWP::Simple 提供的方法
zhaoyangjian724的专栏
07-10 1757
get($url) The get() function will fetch the document identified by the given URL and return it. It returns "undef" if it fails. The $url argument can be either a simple string or a refer
常用脚本 – perl登陆
我为编程狂,我为外语狂
06-12 1239
此脚本的主要功能为：<br />1、利用perl的LWP模块登陆指定的网站。<br />2、返回登录是否成功的状态。use strict;use warnings;use LWP::UserAgent;use HTTP::Cookies;$_=@ARGV;if($_!=2){print"请输入正确的参数n";print"login.pl 用户名 密码";}else{my$user=$ARGV[0];my$pwd=$ARGV[1];&login($user,$pwd);}   sub login{my(
LWP等理解
最新发布
一些七零八碎的知识点
04-16 605
线程互斥指的是在多个线程间对临界资源进行争抢访问时有可能会造成数据二义，因此通过保证同一时间只有一个线程能够访问临界资源的方式实现线程对临界资源的访问安全性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值