爬虫实现二级链接页面信息爬取

一.scrapy环境搭建,参考我的博客–>爬虫框架虚拟环境搭建

二.scrapy设置配置

1.设置用户代理

进入页面并刷新,进入开发者模式,点击选中一个网页,在Network-Headers中找到USER_AGENT,并复制就可以了.

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

2.是否遵守爬虫协议改为否(原因你懂的)

ROBOTSTXT_OBEY = False

3.一次允许的最大请求数

# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 2

4.设置下载延迟时间,因而使得爬虫更像是人的行为,避免IP被屏蔽

DOWNLOAD_DELAY = 3

5.设置下载中间键

DOWNLOADER_MIDDLEWARES = {
   'xymtest.middlewares.XymtestDownloaderMiddleware': 543,
}

6.设置管道