在windows还是在linux上,如果我们直接使用pip安装Scrapy,会报错,这是因为scrapy依赖twisted,而twisted需要c++的一个文件,在Windows环境下,那么需要下载.whl文件。
直接安装scrapy
1、安装Twisted
1.1进入到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted,下载Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl(我的python版本是3.5的,根据需要下载对应的文件)
1.2进入文件所在目录
1.3pipinstallTwisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl
2、安装scrapy
2.1pipinstallwheel
2.2pipinstallTwisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl
2.3pipinstallpywin32
2.4pipinstallscrapy
windows安装scrapy,需要依赖https://sourceforge.net/projects/pywin32/files/
3、scrapy设置可执行文件操作在项目目录下新建任意一个py文件,将以下内容直接复制到里面即可运行,而不用我们自己手动取输入命令。
#!/usr/bin/envpython
#-*-coding:utf-8-*-
fromscrapy.cmdlineimportexecute
importos,sys
sys.path.append(os.path.dirname(os.path.abspath('__file__')))
#execute(['scrapy','crawl','name'])
execute('scrapycrawlname'.split())
#name为spider名字,根据自己定义的来
scrapy库的安装是要有很多的库作为基础的,一般学习Scrapy框架的话,这个是第一个坎。建议使用Anaconda安装,这个集成环境。
通过anaconda安装scrapy
一、下载安装Anaconda1、官网下载Anaconda
官网地址:https://www.anaconda.com/download/
如果想下载不是最新版本anaconda:https://repo.continuum.io/pkgs/
2、安装Anaconda如果是windows10系统,注意在安装Anaconda软件的时候,右击安装软件→选择以管理员的身份运行。
完成安装后,在windows上操作,按下面图打开AnacondaPrompt(以管理员身份运行)
3、查看安装的内容
在终端或命令提示符中键入condalist
备注:如果按上面操作后在AnacondaPrompt中都无法使用conda命令,按以下顺序的解决办法来尝试(正常使用的朋友忽略这一步,继续往下):①检查你是否原来安装过Python,如果安装过请彻底删除Python(同时要删除环境变量)后重装Anaconda②检查自己是否将Conda命令添加到了环境变量
二、管理包安装了Anaconda之后,就可以很方便的管理包了(安装,卸载,更新)。
#安装包
condainstallpackage_name
condainstallpackage_name1package_name2package_name3....
condainstallpackage_name=版本号(1.10)
#卸载包
condaremovepackage_name
#更新包
condaupdatepackage_name
condaupdate--all#更新所有的包(这个很常用)
#罗列所有安装的包
condalist
#所有软件包是否安装
condasearchsearch_term
想安装numpy,但我不清楚确切的包名称,可以这样尝试:condasearchnum
三、安装Scrapy
(base)C:\Windows\system32>condainstallscrapy
四、修改pycharm中python的环境变量
五、管理环境conda可以在不同的项目中建立不同的运行环境。1、安装nb_conda用于notebook自动关联nb_conda的环境。
(base)C:\Windows\system32>condainstallnb_conda
2、创建环境
(base)C:\Windows\system32>condacreate-nenv_namepackage_name
env_name是设置环境的名称(-n是指该命令后面的env_name是你要创建环境的名称)
package_name是你要安装在创建环境中的包名称。
例如,要创建环境名称为py3的环境并在其中安装numpy,在终端中输入condacreate-npy3pandas。
3、创建环境时,可以指定要安装在环境中的Python版本当你同时使用Python2.x和Python3.x中的代码时这很有用。要创建具有特定Python版本的环境
创建环境名称为py3,并安装最新版本的Python3:condacreate-npy3python=3
创建环境名称为py2,并安装最新版本的Python2:condacreate-npy2python=2
安装特定版本(例如Python3.6):condacreate-npypython=3.6
4、进入环境
在Windows上,使用activateenv_name进入。
例如:activatepy3
在OSX/Linux上使用sourceactivateenv_name进入环境。
进入环境后,可以用conda相关的指令对包进行操作。
5、离开环境
在Windows上,终端中输入:
deactivate
在OSX/Linux上输入:
sourcedeactivate
6、删除环境如果你不再使用某个环境,可以使用condaenvremove-nenv_name删除指定的环境。