在windows还是在linux上,如果我们直接使用pip安装Scrapy,会报错,这是因为scrapy依赖twisted,而twisted需要c++的一个文件,在Windows环境下,那么需要下载.whl文件。
直接安装scrapy
1、安装Twisted
1.1 进入到 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ,下载 Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl (我的python版本是3.5的,根据需要下载对应的文件)
1.2 进入文件所在目录
1.3 pip install Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl
2、安装scrapy
2.1 pip install wheel
2.2 pip install Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl
2.3 pip install pywin32
2.4 pip install scrapy
windows安装scrapy,需要依赖 https://sourceforge.net/projects/pywin32/files/
3、scrapy设置可执行文件操作
在项目目录下新建任意一个 py 文件,将以下内容直接复制到里面即可运行,而不用我们自己手动取输入命令。
#!/usr/bin/env python
#-*- coding:utf-8 -*-
from scrapy.cmdline import execute
import os,sys
sys.path.append(os.path.dirname(os.path.abspath('__file__')))
#execute(['scrapy','crawl','name'])
execute('scrapy crawl name'.split())
#name为spider名字,根据自己定义的来
scrapy库的安装是要有很多的库作为基础的,一般学习Scrapy框架的话,这个是第一个坎。建议使用Anaconda安装,这个集成环境。
通过 anaconda 安装 scrapy
一、下载安装Anaconda
1、官网下载Anaconda
官网地址:https://www.anaconda.com/download/
如果想下载不是最新版本anaconda:https://repo.continuum.io/pkgs/
2、安装Anaconda
如果是windows 10系统,注意在安装Anaconda软件的时候,右击安装软件→选择以管理员的身份运行。
完成安装后,在windows上操作,按下面图打开 Anaconda Prompt(以管理员身份运行)
3、查看安装的内容
在终端或命令提示符中键入 conda list
备注:如果按上面操作后在Anaconda Prompt中都无法使用conda命令,按以下顺序的解决办法来尝试(正常使用的朋友忽略这一步,继续往下):
①检查你是否原来安装过Python,如果安装过请彻底删除Python(同时要删除环境变量)后重装Anaconda
②检查自己是否将Conda命令添加到了环境变量
二、管理包
安装了 Anaconda 之后,就可以很方便的管理包了(安装,卸载,更新)。
#安装包
conda install package_name
conda install package_name1 package_name2 package_name3 ....
conda install package_name=版本号(1.10)
#卸载包
conda remove package_name
#更新包
conda update package_name
conda update --all #更新所有的包(这个很常用)
#罗列所有安装的包
conda list
#所有软件包是否安装
conda search search_term
想安装numpy,但我不清楚确切的包名称,可以这样尝试:conda search num
三、安装Scrapy
(base) C:\Windows\system32>conda install scrapy
四、修改pycharm中python的环境变量
五、管理环境
conda 可以在不同的项目中建立不同的运行环境。
1、安装nb_conda用于notebook自动关联nb_conda的环境。
(base) C:\Windows\system32>conda install nb_conda
2、创建环境
(base) C:\Windows\system32>conda create -n env_name package_name
env_name 是设置环境的名称(-n 是指该命令后面的env_name是你要创建环境的名称)
package_name 是你要安装在创建环境中的包名称。
例如,要创建环境名称为 py3 的环境并在其中安装 numpy,在终端中输入 conda create -n py3 pandas。
3、创建环境时,可以指定要安装在环境中的 Python 版本
当你同时使用 Python 2.x 和 Python 3.x 中的代码时这很有用。要创建具有特定 Python 版本的环境
创建环境名称为py3,并安装最新版本的Python3:conda create -n py3 python=3
创建环境名称为py2,并安装最新版本的Python2:conda create -n py2 python=2
安装特定版本(例如 Python 3.6): conda create -n py python=3.6
4、进入环境
在 Windows 上,使用 activate env_name进入。
例如:activate py3
在 OSX/Linux 上使用 source activate env_name 进入环境。
进入环境后,可以用conda相关的指令对包进行操作。
5、离开环境
在 Windows 上,终端中输入:
deactivate
在 OSX/Linux 上 输入:
source deactivate
6、删除环境
如果你不再使用某个环境,可以使用 conda env remove -n env_name 删除指定的环境。