setting里的USER_AGENT是全局的变量,分配给spider的,美运行一次就分配一次,spider里的所有的request必须共享。
DownloaderMiddleware里的useragent是分配给每一个request的,可以覆盖前者。
setting里的USER_AGENT是全局的变量,分配给spider的,美运行一次就分配一次,spider里的所有的request必须共享。
DownloaderMiddleware里的useragent是分配给每一个request的,可以覆盖前者。