scrapy框架的第一个爬虫实例

访问：https://python123.io/ws/demo.html

产生步骤：
步骤一：简历一个Scrapy爬虫工程
步骤二：在工程中产生一个Scrapy爬虫
步骤三：配置产生的Spider爬虫，使它满足需求
步骤四：运行，获取网页
一；
1.新建文件夹pycodes

文件中会自动生成各种模块：

python123demo/-------------外层目录
-----介绍了内部的各种目录的功能
二；

这样在命令行命令下，就生成了一个文件：

打开：

三；
修改DEMO
我们这个例程的目的是:将爬取的html页面存成文件

四;
在cmd中执行命令
scrapy crawl demo
这样就捕获到了页面文件：

简化版代码入下：

# -*- coding: utf-8 -*-
import scrapy

class DemoSpider(scrapy.Spider):
    name = 'demo'
   # allowed_domains = ['python123.io']
    start_urls = ['https://python123.io/ws/demo.html']

    def parse(self, response):    #更改爬取方法  ：2个参数   面向对象所示关系的标记 ； 网络中返回的对象
        fname = response.url.split('/')[-1]    #定义文件的名字   从响应的文件中提取响应作为文件的名字
        with open(fname,'wb') as f:            #返回地内容保存为文件
            f.write(response.body)
        self.log('Saved file %s.' % name)