scrapy
Watermelon,
cTo0NTQxMDk0MDg=
展开
-
爬取豆瓣top250电影保存到MongoDB
爬取豆瓣top250电影保存到MongoDB使用python scrapy框架找到https://movie.douban.com/top250然后在下面点击下一页,发现url有个共同点,只有start的值不断在变,所以我们可以构造这个参数,因为只有250个电影,分10页,根据url可以得知start每次翻页增加25,所以可以构造为start_url = [‘https://movie....原创 2019-05-31 22:26:23 · 1464 阅读 · 0 评论 -
scrapy两种方法爬取网站小说
第一种,使用spider爬取首先选择一个初始的小说链接,例如小说第一章的链接https://www.zwdu.com/book/11029/2297440.html我爬去的是这个网站,链接中的小说首先,创建一个项目scrapy startproject novel创建spiderscrapy genspider spider https://www.zwdu.com/book/1102...原创 2019-05-29 21:18:19 · 2111 阅读 · 2 评论 -
scrapy搭建分布式爬虫
一.准备工作1.Redis数据库及可视化工具Windows百度网盘链接:https://pan.baidu.com/s/1Wz09FdXN4jWn5I4SRSF5-w提取码:kxvz或者https://github.com/microsoftarchive/redis/releases从这里下载自己需要的版本2.我这里是使用两个linux系统的克隆来做我的Windows系统的Slaver...原创 2019-07-09 21:43:11 · 420 阅读 · 0 评论