scrapy

scrapy 框架

• 什么是框架

  • 就是一个集成流量很多功能并且具有很强通用型的一个项目模板

• 如何学习框架

  • 专门学习框架的各种功能的详细用法

• 什么是scrapy?

  • 爬虫中封装好的一个明星框架。功能：高性能的持久化存储，异步的数据下载，高性能数据解析，分布式

• scrapy框架的基本使用

  • 环境安装
    -mac or linux: pip install scrapy
    • windows
      • pip install wheel
      • 下载twisted 下载地址是： https://www.lfd.uci.edu/~gohlke/pythonlibs/
      • 安装twisted:pip install Twisted‑20.3.0‑cp39‑cp39‑win_amd64.whl
      • pip install pywin32
      • pip install scrapy
        测试：在终端里录入scrapy指令，没有报错即表示安装成功
  • 创建一个工程：scrapy startproject xxxPro
  • cd xxxPro
  • 在spiders子目录中创建一个爬虫文件
    • scrapy genspider spiderName www.xxxx.com
      • scrapy genspider spiderName www.baidu.cm
    • 执行工程
      • scrapy crawl spiderName