scrapy的使用
工作原理
1.下载scrapy
pip install scrapy 出问题
然后在https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网页找到你对应的python的版本和你的计算机配置例如 cp35 python3.5版本,amd64就是计算机64位。
然后pip install 这个文件下载后的地址和它的名字。即在cmd中输入pip install Twisted的路径,例如下载路径为F:\Twisted-18.9.0-cp35-cp35m-win_amd64.whl,则输入pip install F:\ Twisted-18.9.0-cp35-cp35m-win_amd64.whl即可,再次pip install scrapy就成功了。
2.创建爬虫项目
我这个是在pycharm 中写的。在terminal 中输入scrapy 可以查看他的命令,
然后输入scrapy startproject MaiTian 就创建了一个MaiTian的爬虫项目。