18-Python Scrapy配置

1.安装Scrapy

    电脑是Python 2.x和Python 3.x共存,Mac终端默认是Python 2.x,PyCharm软件使用的是Python3.x

    Python 3.x路径：/Library/Frameworks/Python.framework/Versions/3.6/bin/Python3.6

①、终端输入命令: pip3 install scrapy

    注：安装的时候在网上搜索资料看到的教程有各种各样的错误，但是我这一步好像直接就OK了，并没有遇到像网上讨论的那些错误，遇到了之后再行补齐。

②、…………等待一系列组件下载完成：[Twisted、PyDispatcher、queuelib、cssselect、parsel、six、lxml、w3lib、pyOpenSSL、service-identity、zope.interface、constantly、incremental、Automat、hyperlink、cryptography、pyasn1、attrs、pyasn1-modules、setuptools、asn1crypto、idna、cffi、pycparser]

注：Requirement already satisfied（表示该组件已经存在）

      pip3表示安装适合python3.x的版本

③、出现如图 Successfully installed scrapy-1.4.0表示安装成功

④、错误处理：

    终端输入scrapy，出现如上图-bash：scrapy：command not found错误，是由于终端默认的是Python 2.x的源，需要设置scrapy环境变量的软链到/usr/local/bin/路径下

    注：前往路径/usr/local/bin/scrapy,查看系统bin目录下是否存在scrapy文件

    设置软链：ln -s (Python 3.x中scrapy文件所在路径) 

    ln -s /Library/Frameworks/Python.framework/Versions/3.6/bin/scrapy /usr/local/bin/scrapy

⑤、终端输入scrapy出现如下输出表示配置成功

⑥、Scrapy模板初始化项目：scrapy startproject 项目名

    注：终端先cd到你想创建项目的目录下，然后执行startproject命令

    PyCharm打开项目，目录结构如下

⑦、Scrapy使用教程

http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

转载于:https://my.oschina.net/CoderW/blog/1142638