scrapy之入门实例
首先我们需要参加一个scrapy工程
打开cmd输入
scrapy startproject 工程名
可以看到生成一个文件夹里面有以下图中文件
各个文件介绍
其次在工程中产生一个爬虫
scrapy genspider demo python123.io
//生产名为demo的爬虫
然后会生产一个demo.py文件
demo.py的内容
然后配置产生的spdier爬虫
# -*- coding: utf-8 -*-
import scrapy
class DemoSpider(scrapy.Spider):
name = 'demo'
# allowed_domains = ['python123.io']
start_urls = ['http://python123.io/ws/demo.html']
def parse(self, response):
fname = response.url.split('/')[-1]
with open(fname,'wb') as f:
f.write(response.body)
self.log('Saved file %s.'% fname)
scrapy crawl demo