- 博客(1)
- 收藏
- 关注
原创 含有大量爬虫的scrapy项目部署到Linux服务器并设置定时启动
前言 当scrapy爬虫项目中含有大量爬虫时(几百甚至更多),我们使用网上所介绍的scrapy同时启动多个爬虫方法会造成因端口不足而使爬虫运行失败。所以当我们的项目中含有大量爬虫时,可以考虑逐个运行爬虫,这样虽然运行时间长了一些但是可以令所有的爬虫都能运行。 一、配置环境 安装爬虫所需要的一些库,这里不再详述。我们主要讲述爬虫的部署以及如何让爬虫在服务器上定时自动运行。 二、编写爬虫运行程序 在s...
2019-02-10 10:59:51
2421
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人