Python爬虫——使用Spider实现数据的爬取（一）

使用scrapy实现爬虫实例

一、Scrapy安装

使用命令：pip install scrapy
安装成功后验证是否成功，输入如下代码，执行：
import scrapy
print(scrapy.version_info)
我这里输出的是（1，6，0）版本，说明scrapy安装成功

二、第一个Scrapy网络爬虫

 1.创建scrapy框架——scrapy startproject name

注：name为项目名称

进入pycharm中开始我们的项目

 2.使用Spider实现数据的爬取

     2.1创建爬虫项目

在spiders中创建爬虫项目，这里是booksSpider.py

、
booksSpider.py 代码为：

from scrapy import Request
from scrapy.spider import Spider

class booksSpider(Spider):
    name = 'books'
    # 初始请求，获取起始的url
    def start_requests(self