scrapy 没有输出_爬虫坑人指南向-Scrapy爬boss直聘

某名奇妙的新坑, 听说Scrapy挺好用的, 就尝试了下~

安装

安装是一个大坑, 如果你的pip没有升级的话, 最好先升级一下。

python -m pip install --upgrade pip

接着要安装Twisted, 因为Scrapy依赖Twisted

pip  install twisted

如果安装失败的话, 到这个网站下和你python对应版本的whl文件

Python Extension Packages for Windows​www.lfd.uci.edu

最后安装scrapy

pip install Scrapy

安装好了以后按照官网的入门教程来创建项目

scrapy startproject boss

这样一个项目就创建完成了, 这里套一下官网对项目结构的说明

boss/
scrapy.cfg
boss/
__init__.py
items.py
pipelines.py
setting