Scrapy库

1：requests 与Scrapy 异同

2：scrapy常用命令：

3：Scrapy实例
基本步骤：
1）建立一个Scrapy爬虫工程。




2):在工程中产生一个Scrapy爬虫

其中demo为文件名，
python123.io为爬取的域名

3)配置产生的spider爬虫
4):运行爬虫，获取网页

出现错误：

解决方法:



生成i的平方的写法：
1）生成器写法：

# -*- coding: utf-8 -*-
import scrapy
def gen(n):
    for i in range(n):
        yield i**2
for i in gen(5):
    print(i,"",end="")

2）普通写法：

def square(n):
    ls=[i**2 for i in range(n)]
    return ls
for i in square(5):
    print(i,"",end="")

生成器：每产生一个值返回一个；
普通写法：计算所有值，然后一起返回。