docker+scrapy-splash+代理池的方法

最新推荐文章于 2024-06-16 20:33:58 发布

weixin_41433522

最新推荐文章于 2024-06-16 20:33:58 发布

阅读量1.1k

点赞数

文章标签： docker 运维

本文链接：https://blog.csdn.net/weixin_41433522/article/details/121846371

版权

docker+scrapy-splash+代理池的方法

看了很多网站都没有把这种方法说透，自己摸索了一天，终于明白了如何在docker环境下对scrapy-splash搭代理池。

根据scrapy官方文档对挂代理的描述，应该在本地创建这样一个文件夹my-proxy-profiles-dir，然后在该文件夹内放上你的代理文件，如果是代理池那就多个文件。

docker run -p 8050:8050 \
      -v <my-proxy-profiles-dir>:/etc/splash/proxy-profiles \
      scrapinghub/splash

例如，我在桌面创建了一个叫proxy的文件夹，里面有proxy1,proxy2…proxy10等，那么上面的命令就应该是

docker run -p 8050:8050 \
      -v <C:\Users\hhh\Desktop\proxy>:/etc/splash/proxy-profiles \
      scrapinghub/splash

然后proxy的格式应该是下面的，host，prot就是你买的代理的ip和端口，下面就是账号密码，还有类型是http还是SOCK5，这些搞对就可以了

[proxy]

; required
host=proxy.crawlera.com
port=8010

; optional, default is no auth
username=username
password=password

; optional, default is HTTP. Allowed values are HTTP and SOCKS5
type=HTTP

[rules]
; optional, default ".*"
whitelist=
    .*mywebsite\.com.*

; optional, default is no blacklist
blacklist=
    .*\.js.*
    .*\.css.*
    .*\.png

这样代理池就搭好了，那么如何使用这些代理呢，首先是scrapy的settings ，加上如下的命令

SPLASH_URL = 'http://localhst:8050'
DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 724,
}
SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

然后就是这个DOWNLOADER_MIDDLEWARES，记得加上你自己的下载中间件，然后在你的下载中间件里面的process_request函数加上这么一段

def process_request(self, request, spider):
	if request.meta.get('splash'):
		request.meta['splash']['args']['proxy']=self.select_proxy_for_splash()
	else：
		request.meta['proxy']=self.select_proxy()

这段代码含义如下：
如果当前的request请求含有splash，说明他是个带有splash的请求，他的代理应该是在[‘splash’][‘args’][‘proxy’]方法里，self.select_proxy_for_splash()的返回的应该是上面说的proxy1的文件名，因此可以把这些放在数据库里，每次去查库随机出来一个，这样代理池好维护，否则按scrapy的方法来。
好了这样代理池就搭好了，如果有什么写的不对的地方，欢迎各位批评指正