Laravel 中使用Goutte + GuzzleHttp 组件设置 headers无效的原因探究以及解决方案

我的个人博客：逐步前行STEP

使用Goutte + GuzzleHttp 爬取网页时，如下代码中的请求头设置无效：

$jar = CookieJar::fromArray([
            "HMACCOUNT" => 'C0CDC28BD0110387',
        ], self::$host);

        $client = new GoutteClient();

        $guzzle_client = new GuzzleClient([
            'timeout'=>20,
            'headers'=>[
                'Referer'=>$prefix_url,
                'User-Agent'=>'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
            ],
            'cookies' => $jar,
            'debug'=>true,
        ]);

        $client->setClient($guzzle_client);

经过研究源码发现，User-Agent 请求字段使用了默认值，没有应用传入的参数，而cookies配置则因为语法问题被覆盖丢失。

以下是具体探究过程：
在vendor/symfony/browser-kit/Client.php中：

......
    /**
     * @param array     $server    The server parameters (equivalent of $_SERVER)
     * @param History   $history   A History instance to store the browser history
     * @param CookieJar $cookieJar A CookieJar instance to store the cookies
     */
    public function __construct(array $server = [], History $history = null, CookieJar $cookieJar = null)
    {
        $this->setServerParameters($server);
        $this->history = $history ?: new History();
        $this->cookieJar = $cookieJar ?: new CookieJar();
    }
......
    /**
     * Sets server parameters.
     *
     * @param array $server An array of server parameters
     */
    public function setServerParameters(array $server)
    {
        $this->server = array_merge([
            'HTTP_USER_AGENT' => 'Symfony BrowserKit',
        ], $server);
    }
......

设置了$this->sever的初始值，然后在该文件的：

public function request(string $method, string $uri, array $parameters = [], array $files = [], array $server = [], string $content = null, bool $changeHistory = true)
    {
......

        $server = array_merge($this->server, $server);
......
        $this->internalRequest = new Request($uri, $method, $parameters, $files, $this->cookieJar->allValues($uri), $server, $content);
......
        if ($this->insulated) {
            $this->response = $this->doRequestInProcess($this->request);
        } else {
            $this->response = $this->doRequest($this->request);
        }
......

如果Goutte 的 request 中没有设置相同键的sever ，生成的请求对象的sever属性就初始化包含HTTP_USER_AGENT（因为当前需求是在实例化的时候传参作为全局配置，不考虑在request之前设置header来使配置生效的方案），而在vendor/fabpot/goutte/Goutte/Client.php中：

protected function doRequest($request)
    {
        $headers = array();
        foreach ($request->getServer() as $key => $val) {
            $key = strtolower(str_replace('_', '-', $key));
            $contentHeaders = array('content-length' => true, 'content-md5' => true, 'content-type' => true);
            if (0 === strpos($key, 'http-')) {
                $headers[substr($key, 5)] = $val;
            }
            // CONTENT_* are not prefixed with HTTP_
            elseif (isset($contentHeaders[$key])) {
                $headers[$key] = $val;
            }
        }
......
        if (!empty($headers)) {
            $requestOptions['headers'] = $headers;
        }
......
        // Let BrowserKit handle redirects
        try {
            $response = $this->getClient()->request($method, $uri, $requestOptions);
            }
......

可见，Request的sever属性被用于作为GuzzleHttp实例的请求头，不过在上面的代码中，键 HTTP_USER_AGENT 已经被更改为user-agent，而从vendor/guzzlehttp/guzzle/src/Client.php文件可以看出 GuzzleHttp 实例的request方法调用了requestAsync方法，requestAsync中将上面代码传入的$requestOptions 作为请求头字段，在该文件中，从构造器可知，本文第一段代码中传入构造器的参数都会作为配置使用，在方法configureDefaults和prepareDefaults都有做处理，并将传入的请求头从以header为键换成了以_conditional为键：

private function prepareDefaults($options)
    {
        $defaults = $this->config;

        if (!empty($defaults['headers'])) {
            // Default headers are only added if they are not present.
            $defaults['_conditional'] = $defaults['headers'];
            unset($defaults['headers']);
        }
......
}

在vendor/guzzlehttp/guzzle/src/Client.php的：

private function applyOptions(RequestInterface $request, array &$options)
{
......

        // Merge in conditional headers if they are not present.
        if (isset($options['_conditional'])) {
            // Build up the changes so it's in a single clone of the message.
            $modify = [];
            foreach ($options['_conditional'] as $k => $v) {
                if (!$request->hasHeader($k)) {
                    $modify['set_headers'][$k] = $v;
                }
            }
......

查找了_conditional数据是否在Request对象的请求头中存在，不存在就新增，至此，User-Agent配置失效的原因出来了，就是在此处被丢弃了，作如下修改，将传入的参数覆盖默认参数：

private function applyOptions(RequestInterface $request, array &$options)
{
......

        // Merge in conditional headers if they are not present.
        if (isset($options['_conditional'])) {
            // Build up the changes so it's in a single clone of the message.
            $modify = [];
            foreach ($options['_conditional'] as $k => $v) {
                if (!$request->hasHeader($k)) {
                //改动此处
					$modify['set_headers'][$k] = $v;
                }
            }
......

这样，User-Agent配置就可以被正确使用了。

然而，设置的cookie还是无效，
继续调试源码，可以发现，在vendor/guzzlehttp/guzzle/src/Client.php的prepareDefaults 函数：

private function prepareDefaults($options)
    {
......
        // Shallow merge defaults underneath options.
        $result = $options + $defaults;
......        return $result;
    }

有一个合并数组的语句$result = $options + $defaults;，但是，经过测试，该语句没有进行数组合并，我的php版本是7.1.3，这个应该跟版本有关，暂时没有查资料看具体适用于什么版本，我这儿直接改了就好了，类似还有该文件的另一处地方：

private function configureDefaults(array $config)
    {
......
		$this->config = $config + $defaults;
......

将其改成：

private function configureDefaults(array $config)
    {
......
		$this->config = array_merge($defaults, $config);
......

即可（array_merge中注意两个数组的顺序）。