爬虫python下载安装_Python爬虫之Scrapy库的下载和安装

Python爬虫之Scrapy库的下载和安装

下载scrapy库

1、点击https://www.lfd.uci.edu/~gohlke/pythonlibs，进入该网页后Ctrl+F输入scrapy进行搜索，选择对应的版本点击下载即可。

(下面红框为所需要的内容)

安装srapy库

1、需要注意的是：在安装srapy库之前，还需要有wheel、lxml、pywin32、twisted这些插件，所以接下来我们需要下载和安装这些插件。wheel插件可以直接打开cmd，输入下面的命令就可以安装。

pip install wheel

2、和下载scrapy库一样，点击https://www.lfd.uci.edu/~gohlke/pythonlibs，进入该网页后Ctrl+F依次输入其他三个插件进行搜索，选择对应的版本点击下载即可。

(注：cp36、cp37等等，表示的是python的版本，如果你的python是3.6版本，则对应的选择cp36，再根据你的电脑是32位还是64位选择下载。)

3、安装：打开cmd，将路径切换成你下载插件的路径，使用cd 加上所要切换的路径。切换完之后依次输入以下的命令行，即可完成安装。

pip install Twisted‑20.3.0‑cp38‑cp38‑win_amd64.whl

pip install lxml‑4.5.1‑cp38‑cp38‑win_amd64.whl

pip install pywin32‑227‑cp38‑cp38‑win_amd64.whl

pip install Scrapy-2.1.0-py2.py3-none-any.whl

4、如果在安装scrapy库的过程中出现以下错误：

ERROR: Could not install packages due to an EnvironmentError: [Errno 2] No such file or directory: 'C:\\Users\\29791\\AppData\\Local\\Temp\\pip-req-tracker-lpahl_qe\\7d96500e48573e7d28b5abcbae0e73f0b45e3d99eec03e13be8c946f'

则重新输入以下命令行：

pip install --user Scrapy-2.1.0-py2.py3-none-any.whl

5、打开cmd，将路径切换到你安装scrapy库的路径，输入以下命令新建一个project，其中文件名为你给该工程取的工程名，若出现"New Scrapy project"的字段则表示scrapy库安装成功。

scrapy startproject 文件名