编写 HTTP 查询脚本时,效率和可维护性是两个关键因素。以下是一些建议,帮助你编写更有效的 HTTP 查询脚本:
问题背景
通常情况下,我想自动完成 HTTP 查询。我目前使用 Java(和 commons http 客户端),但可能更喜欢基于脚本的方法。我希望找到一种非常快速简便的方法,我可以设置一个头部,转到一个页面,而不必担心设置整个 OO 生命周期,设置每个头部,调用 HTML 解析器......。我正在寻找任何语言的解决方案,最好是脚本语言。
解决方案
1. Python 中的 Mechanize
Mechanize for Python 似乎很容易使用: http://wwwsearch.sourceforge.net/mechanize/
2. Selenium
看看 Selenium。如果需要自定义脚本,它可以生成 C#、Java、Perl、PHP、Python 和 Ruby 的代码。
3. Watir
Watir 听起来很接近你想要的东西,尽管它(就像另一个答案中链接的 Selenium 一样)实际上打开了一个浏览器来做事情。你可以在此处看到一些示例。另一种基于浏览器记录 + 回放的方法系统是 sahi。如果您的应用程序使用 WSGI,那么 paste 是一个不错的选择。另一个答案中链接的 Mechanize 是一个“浏览器中的库”,并且在 perl、Ruby 和 Python 中有克隆。Perl 是最初版本,如果您不想要浏览器,这似乎是解决方案。这种方法的问题在于,所有前端代码(可能依赖 JavaScript)都不会被执行。
4.wget 或带 lwp 的 perl
您可以找到链接页面上的示例。
5.LWP::Simple 和 HTML::TreeBuilder
如果您有简单的需求(获取页面然后解析它),很难击败 LWP::Simple 和 HTML::TreeBuilder。以下是一个 Perl 示例:
6. ReST Client
我目前正在测试 ReST API,发现 ReST 客户端非常不错。它是一个 GUI 程序,但您仍然可以将查询保存并还原为 XML 文件(或让它们生成)、嵌入、编写测试脚本等。并且它是基于 Java 的(这不是临时优势,但您提到了它)。录制会话的缺点。ReST 客户端适用于无状态的“一次性”操作。 如果它不适合您的需求,我会选择已经提到的 Mechanize(或 WWW-Mechanize,正如它在 CPAN 中被调用)。
7. bash + curl
具体取决于您要做什么,最简单的解决方案似乎是 bash + curl。后者的手册页可在此处获得: http://curl.haxx.se/docs/manpage.html 您可以进行发布和获取、HTTPS、显示标头、使用 cookie、基本和摘要 HTTP 身份验证、通过各种代理隧道,包括 *nix 上的 NTLM 等。 curl 还可用作带有 C 和 PHP 支持的共享库。 希望对你有帮助 C.
8. Python urllib
Python urllib 可能正是您要找的。或者,powershell 在脚本环境中公开了完整的 .NET http 库。
9. Twill
Twill 非常出色,专为测试而设计。它可以用作脚本、在交互式会话中或在 Python 程序中。
10. Perl 和 WWW::Mechanize
Perl 和 WWW::Mechanize 可以让网络抓取等变得简单容易,包括轻松处理表单(假设您想转到登录页面,填写用户名和密码并提交表单,处理 cookie / 隐藏的会话标识符就像浏览器一样......)。 同样,从获取的页面中查找或提取链接非常简单。 如果您需要从 WWW::Mechanize 无法轻松帮助解析的内容中解析出东西,那么将结果馈送到 HTML::TreeBuilder 以简化解析。
最后我要说的是,编写有效的 HTTP 查询脚本需要选择合适的工具和技术,如使用会话对象、处理异常、实现异步请求和重试机制等。同时,优化参数和头部的管理、使用缓存、环境变量和日志记录等方法可以提高脚本的性能和可维护性。