scrapy之爬虫初体验

本篇文章主要将怎样创建一个scrapy项目，以及完成第一个scrapy爬虫项目。

首先是安装scrapy模块，有很多原因都能导致scrapy模块安装失败，网上有很多教程让怎样安装scrapy。亲测比较有效的方法使用whl文件安装。不过有小伙伴也可以尝试直接使用pip install scrapy命令进行直接装，运气好就能一次装成功。

第一步：创建一个爬虫项目：window系统下按住win+R组合键，然后在运行窗口输入cmd，打开命令行窗口。

回到你要创建的工作目录下，当然使用anaconda软件的小伙伴如果不想安装其他软件，想提高使用效果，还是把scrapy项目建在工作目录下，当然jupyter是可以改变工作目录的。ps:jupyter创建的文件后缀是.ipynb，但scrapy只识别和执行后缀为.py的文件。所以可以把写好的文件选择另存为.py文件：File-Download as-Python

我的工作目录为E:\Python\Python_work\scrapy，cmd执行命令下图所示：