scarpy安装与常用命令

• scrapy环境的搭建
  • pip install wheel (服务第2步与第3步操作)
  • 下载twisted包 (scrapy借助它完成了异步数据下载)，下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
  • 安装twisted: pip install 下好的twisted包名 (对应的python版本就下载)
  • pip install pywin32
  • pip install scrapy

注意下载twisted包 时要与python版本兼容，否则可能会出问题

python3.7的版本就下载

python3.6的版本就下载

测试：在终端里录入scrapy指令，没有报错即表示安装成功！

• 创建一个工程： 使用cmd命令执行：scrapy startproject 工程名称
  • cd 工程名称
  • scrapy genspider 爬虫名称 www.xxx.com
  • 执行工程：在cmd中执行
    • scrapy crawl 爬虫名称 【–nolog】#表示不打印日志信息，同时也会忽略错误信息

 - 项目结构：
    |-- proName
       |-- reProName
            |--spiders 【爬虫文件夹，放置爬虫文件，】
                |-- 爬虫源文件.py 【命令创建：scrapy genspider 爬虫名称 www.xxx.com】
            |-- init.py 【】
            |-- items.py 【将解析到的数据封装到item对象中】
            |-- middlewares.py 【中间件】
            |-- pipelines.py 【管道文件：用于清洗、验证、导出到外部文件、存储到数据库等,一个管道类对应一个持久化存储方式】
                管道文件中可以自定义管道类，定义之后的管道类需要到配置文件中注册
            |-- settings.py 【工程的配置文件】
       |-- scrapy.cfg