爬虫笔记11Scrapy&yield&具体使用

0.Scrapy的第一个实例
演示HTML页面地址






allowed_domains指用户最开始提交给命令行的域名，只能爬该域名以下的连接
start——urls：初始页面
parse：解析页面的空的方法

# -*- coding: utf-8 -*-
import scrapy


class DemoSpider(scrapy.Spider):
    name = 'demo'
    #allowed_domains = ['python123.io']
    start_urls = ['http://python123.io/ws/demo.html']

    def parse(self, response):#response 网络返回的内容的对象
        fname = response.url.split('/')[-1]#定义文件名，提取文件名作为文件名
        #以/为分割符保留最后一段
        with open(fname,'wb') as f:
            f.write(response.body)#返回的内容保存为文件
        self.log('Saved file %s.'%fname)

        pass

1.yield关键字的使用





每次提交一个请求

yield讲解牛批
https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/
2.Scrapy爬虫的基本使用

requests ：向网络提交的请求封装的类
response：网页获得的回应内容的封装类
item：spider产生的信息封装的类









summary