爬虫scrapy库精简使用大全

一、基本命令

创建项目

scrapy startproject myapp

创建爬虫文件

scrapy genspider spider_name "https://www.baidu.com"

运行爬虫文件

scrapy crawl spider_name
# scrapy crawl spider_name --nolog    # 不打印日志

一、使用代理ip

打开中间件middlewares.py，增加以下代码

class ProxyMiddleware:
    def process_request(self, request, spider):
        # ip = random.choice(self.ip)
        request.meta['Proxy'] = "http://127.0.0.1:7890"

打开setting.py激活上面增加的类

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 543,
}