【Delphi 爬虫库 1】GET和POST方法

爬虫的基本原理是根据需求获取信息并返回。就像当我们感到饥饿时，可以选择自己烹饪食物、外出就餐，或者订外卖一样。在编程中，使用 GET 和 POST 方法可以根据需求获取信息。

在 Delphi 中，有许多控件可以实现 GET 和 POST 方法，例如 Indy 组件等。然而，由于 Indy 组件庞大且使用起来不是很方便，在多线程环境下容易出现崩溃等问题。因此，我重新封装了 WinInet 单元，以更方便、快捷地实现 GET 和 POST 方法。

1.最简单的Get方法实现

下面的代码实现了返回百度的首页源代码:

// 返回百度首页源码
procedure TForm1.Button1Click(Sender: TObject);
var
  strResponse: AnsiString;
begin
  strResponse:= InetHttp(Edit1.Text);
  Memo4.Text:= UTF8Decode(strResponse);
end;

这里InetHttp是重载函数，不但可以返回字符串，也可以返回流或者直接下载文件到本地，如果需要获取图片那么返回流会更方便。

function InetHttp(const AURL: string; Stream: TStream; APost: TStrings = nil): Boolean; overload;
function InetHttp(const AURL: string; APost: TStrings = nil): AnsiString; overload;
function InetHttp(const AURL: string; FileName: string; APost: TStrings = nil): Boolean; overload;

2.可自定义请求头、自定义Cookie的Get方法实现

在上面的示例中展示了最基本的 GET 请求，但在许多情况下，我们需要自定义请求头，因为有时对方服务器会对请求头进行检测。通常，我们会先进行抓包，然后将抓取到的请求头发送出去。

重新修改代码，让其支持自定义请求头

procedure TForm1.Button1Click(Sender: TObject);
var
  strResponse: AnsiString;
  http: THTTP;
  Url: string;
  Header: string;
begin
  Url := Edit1.Text;
  if not CheckBox1.Checked then
  begin
    strResponse := InetHttp(Url);
    Memo4.Text := UTF8Decode(strResponse);
  end
  else
  begin
    http := THTTP.Create;
    try
      if CheckBox2.Checked then
        http.NoCookie:= True;
      http.HttpRequestHeaders.Text := Memo1.Text;
      strResponse := http.GetString(Url);
      Memo4.Text := UTF8Decode(strResponse);
    finally
      http.Free;
    end;
  end;
end;

还有一个注意的地方，我们有时候需要在自定义请求头中自定义Cookies，可以添加代码http.NoCookie:= True;来设置，否则程序会自己维护Cookies

3.提取响应协议头

有时候一些重要的信息会在响应协议头，比如Cookies，我们需要提取出来。封装单元中已经做了提取处理，这里只需要一行代码即可。

Memo3.Text:= http.HttpResponseHeaders.Text;

4.Post方法实现单词翻译

下面实现了"apple"翻译成了"苹果"

procedure TForm1.Button3Click(Sender: TObject);
var
  strResponse: AnsiString;
  http: THTTP;
  Url: string;
  Header: string;
  PostBody: TStrings;
begin
  Url := 'https://fanyi.qq.com/api/translate';
  Header :=
    'Accept: application/json, text/javascript, */*; q=0.01' + #13#10 +
    'Accept-Encoding: gzip, deflate' + #13#10 +
    'Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6' + #13#10 +
    'Connection: keep-alive' + #13#10 +
    'Content-Type: application/x-www-form-urlencoded; charset=UTF-8' + #13#10 +
    'Origin: https://fanyi.qq.com' + #13#10 +
    'Referer: https://fanyi.qq.com/' + #13#10 +
    'User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 Edg/109.0.1518.100' + #13#10 +
    'X-Requested-With: XMLHttpRequest' + #13#10;

  http := THTTP.Create;
  PostBody := TStringList.Create;
  try
    http.HttpRequestHeaders.Text := Header;
    PostBody.Text :=
      'source=en' + #13#10 +
      'target=zh' + #13#10 +
      'sourceText=apple' + #13#10 +
      'sessionUuid=translate_uuid' + GenerateTimestamp(Now, True).ToString;
    strResponse := http.GetString(Url, PostBody);
    Memo4.Text := UTF8Decode(strResponse);
    Memo3.Text := http.HttpResponseHeaders.Text;
  finally
    PostBody.Free;
    http.Free;
  end;
end;

这里Header的数据与PostBody的数据都是通过抓包所得。

成功返回了我们需要的数据：

{“sessionUuid”:“translate_uuid1713009200766”,“translate”:{“errCode”:0,“errMsg”:“”,“sessionUuid”:“translate_uuid1713009200766”,“source”:“en”,“target”:“zh”,“records”:[{“sourceText”:“apple”,“targetText”:“苹果”,“traceId”:“ca242e6218b845a8b1abf10b0610328f”}],“full”:true,“options”:{}},“dict”:null,“suggest”:null,“errCode”:0,“errMsg”:“ok”}

上面是一段json数据，下一篇文章将讲解如何在json数据中提取我们所需要的数据。