爬虫-windows下安装Scrapy及scrapy模块介绍

一：安装wheel

　　 wheel介绍 

二：安装twisted

　　twisted是由python编写的一款基于事件驱动的网络引擎，使用twisted模块将python的异步请求（异步模型介绍）成为可能且简单易用。Twisted介绍  

三：创建scrapy文件

 　　使用命令窗口进入目标目录后 使用命令 

 scrapy startproject  project_name

    工程目录结构如图

　　

 

　　

     四：启动爬虫程序

　　

scrapy crawl first --nolog #启动时，不输出日志文件
scrapy crawl first #带有日志的输出

 

　　

　　

　　

转载于:https://www.cnblogs.com/SunIan/p/10328249.html