什么是Python爬虫框架

一、什么是Python爬虫框架

简单来说，Python的爬虫框架就是一些爬虫项目的半成品。比如我们可以将一些常见爬虫功能的实现代码写好，然后留下一些接口，在做不同的爬虫项目时，我们只需要根据实际情况，手写少量需要变动的代码部分，并按照需要调用这些接口，即可以实现一个爬虫项目。

二、常见的Python爬虫框架

1、Scrapy框架

Scrapy框架是一套比较成熟的Python爬虫框架，是使用Python开发的快速、高层次的信息爬取框架，可以高效的爬取web页面并提取出结构化数据。
Scrapy应用范围很广，爬虫开发、数据挖掘、数据监测、自动化测试等。
Scrapy官网
官方文档请参考Scrapy入门教程 - Scrapy 0.24.6 文档
简单用法：
scrapy startproject tutorial #创建项目
该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
     scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/