win10下scrapy项目初始化

 

在CMD中运行以下命令安装scrapy：

pip install Scrapy 

安装过程中可能会报以下的错误：

这是因为缺少Visual C++ visual-cpp-build-tools，根据提示的网址去官网下载安装即可，安装大小4G多，所以基本上是不可能的。

到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找到你对应的版本下载下来，本文用到的是

• Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl 

如何查找对应版本，请看下面：

cp36就是Python 3.6 ，win_amd64 就是电脑的处理器架构

然后安装它

C:\Users\zhenshijie>pip install F:\安装包\Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl

看到successfully之后再重新安装用pin install scrapy

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

scrapy项目，目前只能手动初始化项目。 
1、找一个目录 
输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成功

You can start your first spider with:
    cd SpiderObject
    scrapy genspider example example.com

然后在IDE中打开这个项目，会看到一些初始化的文件，这是我们要创建一个模板，打开CMD，切换到项目目录下，输入一下命令：

scrapy genspider fbSpider http://www.facebook.com

这是项目目录中会多出一个文件，说明初始化成功。