python爬虫之scrapy之入门实例

scrapy之入门实例

首先我们需要参加一个scrapy工程
打开cmd输入

scrapy startproject 工程名

可以看到生成一个文件夹里面有以下图中文件


各个文件介绍


其次在工程中产生一个爬虫

scrapy genspider demo python123.io
//生产名为demo的爬虫

然后会生产一个demo.py文件

demo.py的内容


然后配置产生的spdier爬虫

# -*- coding: utf-8 -*-
import scrapy


class DemoSpider(scrapy.Spider):
    name = 'demo'
    # allowed_domains = ['python123.io']
    start_urls = ['http://python123.io/ws/demo.html']

    def parse(self, response):
        fname = response.url.split('/')[-1]
        with open(fname,'wb') as f:
            f.write(response.body)
        self.log('Saved file %s.'% fname)

最后执行demo.py

scrapy crawl demo