使用脚本编写 HTTP 查询的更有效方法

编写 HTTP 查询脚本时，效率和可维护性是两个关键因素。以下是一些建议，帮助你编写更有效的 HTTP 查询脚本：

问题背景

通常情况下，我想自动完成 HTTP 查询。我目前使用 Java（和 commons http 客户端），但可能更喜欢基于脚本的方法。我希望找到一种非常快速简便的方法，我可以设置一个头部，转到一个页面，而不必担心设置整个 OO 生命周期，设置每个头部，调用 HTML 解析器…。我正在寻找任何语言的解决方案，最好是脚本语言。

解决方案

1. Python 中的 Mechanize

Mechanize for Python 似乎很容易使用：http://wwwsearch.sourceforge.net/mechanize/

2. Selenium

看看 Selenium。如果需要自定义脚本，它可以生成 C#、Java、Perl、PHP、Python 和 Ruby 的代码。

3. Watir

Watir 听起来很接近你想要的东西，尽管它（就像另一个答案中链接的 Selenium 一样）实际上打开了一个浏览器来做事情。你可以在此处看到一些示例。另一种基于浏览器记录 + 回放的方法系统是 sahi。如果您的应用程序使用 WSGI，那么 paste 是一个不错的选择。另一个答案中链接的 Mechanize 是一个“浏览器中的库”，并且在 perl、Ruby 和 Python 中有克隆。Perl 是最初版本，如果您不想要浏览器，这似乎是解决方案。这种方法的问题在于，所有前端代码（可能依赖 JavaScript）都不会被执行。

4.wget 或带 lwp 的 perl

您可以找到链接页面上的示例。

5.LWP::Simple 和 HTML::TreeBuilder

如果您有简单的需求（获取页面然后解析它），很难击败 LWP::Simple 和 HTML::TreeBuilder。以下是一个 Perl 示例：

use strict;
use warnings;

use LWP::Simple;
use HTML::TreeBuilder;

my $url = 'http://www.example.com';
my $content = get( $url) or die "Couldn't get $url";

my $t = HTML::TreeBuilder->new_from_content( $content );
$t->eof;
$t->elementify;

# Get first match:
my $thing = $t->look_down( _tag => 'p', id => qr/match_this_regex/ );

print $thing ? $thing->as_text : "No match found\n";

# Get all matches:
my @things = $t->look_down( _tag => 'p', id => qr/match_this_regex/ );

print $_ ? $_->as_text : "No match found" for @things;

6. ReST Client

我目前正在测试 ReST API，发现 ReST 客户端非常不错。它是一个 GUI 程序，但您仍然可以将查询保存并还原为 XML 文件（或让它们生成）、嵌入、编写测试脚本等。并且它是基于 Java 的（这不是临时优势，但您提到了它）。录制会话的缺点。ReST 客户端适用于无状态的“一次性”操作。
如果它不适合您的需求，我会选择已经提到的 Mechanize（或 WWW-Mechanize，正如它在 CPAN 中被调用）。

7. bash + curl

具体取决于您要做什么，最简单的解决方案似乎是 bash + curl。后者的手册页可在此处获得：
http://curl.haxx.se/docs/manpage.html
您可以进行发布和获取、HTTPS、显示标头、使用 cookie、基本和摘要 HTTP 身份验证、通过各种代理隧道，包括 *nix 上的 NTLM 等。
curl 还可用作带有 C 和 PHP 支持的共享库。
希望对你有帮助
C.

8. Python urllib

Python urllib 可能正是您要找的。或者，powershell 在脚本环境中公开了完整的 .NET http 库。

9. Twill

Twill 非常出色，专为测试而设计。它可以用作脚本、在交互式会话中或在 Python 程序中。

10. Perl 和 WWW::Mechanize

Perl 和 WWW::Mechanize 可以让网络抓取等变得简单容易，包括轻松处理表单（假设您想转到登录页面，填写用户名和密码并提交表单，处理 cookie / 隐藏的会话标识符就像浏览器一样…）。
同样，从获取的页面中查找或提取链接非常简单。
如果您需要从 WWW::Mechanize 无法轻松帮助解析的内容中解析出东西，那么将结果馈送到 HTML::TreeBuilder 以简化解析。

最后我要说的是，编写有效的 HTTP 查询脚本需要选择合适的工具和技术，如使用会话对象、处理异常、实现异步请求和重试机制等。同时，优化参数和头部的管理、使用缓存、环境变量和日志记录等方法可以提高脚本的性能和可维护性。