win10下scrapy项目初始化

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/sinat_32862717/article/details/81713992

 

在CMD中运行以下命令安装scrapy:

pip install Scrapy 

安装过程中可能会报以下的错误:

这是因为缺少Visual C++ visual-cpp-build-tools,根据提示的网址去官网下载安装即可,安装大小4G多,所以基本上是不可能的。

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找到你对应的版本下载下来,本文用到的是

如何查找对应版本,请看下面:

cp36就是Python 3.6 ,win_amd64 就是电脑的处理器架构

然后安装它

C:\Users\zhenshijie>pip install F:\安装包\Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl

看到successfully之后再重新安装用pin install scrapy

安装完成之后在命令行输入

scrapy -v

如果出现了相应的版本号就说明安装成功。

创建项目

scrapy项目,目前只能手动初始化项目。 
1、找一个目录 
输入命令

scrapy startproject SpiderObject

命令行出现这样的结果说明创建成功

You can start your first spider with:
    cd SpiderObject
    scrapy genspider example example.com

然后在IDE中打开这个项目,会看到一些初始化的文件,这是我们要创建一个模板,打开CMD,切换到项目目录下,输入一下命令:

scrapy genspider fbSpider http://www.facebook.com

这是项目目录中会多出一个文件,说明初始化成功。

展开阅读全文

没有更多推荐了,返回首页