1.安装Scrapy
电脑是Python 2.x和Python 3.x共存,Mac终端默认是Python 2.x,PyCharm软件使用的是Python3.x
Python 3.x路径:/Library/Frameworks/Python.framework/Versions/3.6/bin/Python3.6
①、终端输入命令: pip3 install scrapy
注:安装的时候在网上搜索资料看到的教程有各种各样的错误,但是我这一步好像直接就OK了,并没有遇到像网上讨论的那些错误,遇到了之后再行补齐。
②、…………等待一系列组件下载完成:[Twisted、PyDispatcher、queuelib、cssselect、parsel、six、lxml、w3lib、pyOpenSSL、service-identity、zope.interface、constantly、incremental、Automat、hyperlink、cryptography、pyasn1、attrs、pyasn1-modules、setuptools、asn1crypto、idna、cffi、pycparser]
注:Requirement already satisfied(表示该组件已经存在)
pip3表示安装适合python3.x的版本
③、出现如图 Successfully installed scrapy-1.4.0表示安装成功
④、错误处理:
终端输入scrapy,出现如上图-bash:scrapy:command not found错误,是由于终端默认的是Python 2.x的源,需要设置scrapy环境变量的软链到/usr/local/bin/路径下
注:前往路径/usr/local/bin/scrapy,查看系统bin目录下是否存在scrapy文件
设置软链:ln -s (Python 3.x中scrapy文件所在路径)
ln -s /Library/Frameworks/Python.framework/Versions/3.6/bin/scrapy /usr/local/bin/scrapy
⑤、终端输入scrapy出现如下输出表示配置成功
⑥、Scrapy模板初始化项目:scrapy startproject 项目名
注:终端先cd到你想创建项目的目录下,然后执行startproject命令
PyCharm打开项目,目录结构如下
⑦、Scrapy使用教程
http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html