python scrapy是什么_Python里面scrapy是什么

在windows还是在linux上，如果我们直接使用pip安装Scrapy，会报错，这是因为scrapy依赖twisted，而twisted需要c++的一个文件，在Windows环境下，那么需要下载.whl文件。

直接安装scrapy

1、安装Twisted

1.1进入到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，下载Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl(我的python版本是3.5的，根据需要下载对应的文件)

1.2进入文件所在目录

1.3pipinstallTwisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl

2、安装scrapy

2.1pipinstallwheel

2.2pipinstallTwisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl

2.3pipinstallpywin32

2.4pipinstallscrapy

windows安装scrapy，需要依赖https://sourceforge.net/projects/pywin32/files/

3、scrapy设置可执行文件操作在项目目录下新建任意一个py文件，将以下内容直接复制到里面即可运行，而不用我们自己手动取输入命令。

#!/usr/bin/envpython

#-*-coding:utf-8-*-

fromscrapy.cmdlineimportexecute

importos,sys

sys.path.append(os.path.dirname(os.path.abspath('__file__')))

#execute(['scrapy','crawl','name'])

execute('scrapycrawlname'.split())

#name为spider名字，根据自己定义的来

scrapy库的安装是要有很多的库作为基础的，一般学习Scrapy框架的话，这个是第一个坎。建议使用Anaconda安装，这个集成环境。

通过anaconda安装scrapy

一、下载安装Anaconda1、官网下载Anaconda

官网地址：https://www.anaconda.com/download/

如果想下载不是最新版本anaconda：https://repo.continuum.io/pkgs/

2、安装Anaconda如果是windows10系统，注意在安装Anaconda软件的时候，右击安装软件→选择以管理员的身份运行。

完成安装后，在windows上操作，按下面图打开AnacondaPrompt(以管理员身份运行)

3、查看安装的内容

在终端或命令提示符中键入condalist

备注：如果按上面操作后在AnacondaPrompt中都无法使用conda命令，按以下顺序的解决办法来尝试(正常使用的朋友忽略这一步，继续往下)：①检查你是否原来安装过Python，如果安装过请彻底删除Python(同时要删除环境变量)后重装Anaconda②检查自己是否将Conda命令添加到了环境变量

二、管理包安装了Anaconda之后，就可以很方便的管理包了(安装，卸载，更新)。

#安装包

condainstallpackage_name

condainstallpackage_name1package_name2package_name3....

condainstallpackage_name=版本号(1.10)

#卸载包

condaremovepackage_name

#更新包

condaupdatepackage_name

condaupdate--all#更新所有的包(这个很常用)

#罗列所有安装的包

condalist

#所有软件包是否安装

condasearchsearch_term

想安装numpy，但我不清楚确切的包名称,可以这样尝试：condasearchnum

三、安装Scrapy

(base)C:\Windows\system32>condainstallscrapy

四、修改pycharm中python的环境变量

五、管理环境conda可以在不同的项目中建立不同的运行环境。1、安装nb_conda用于notebook自动关联nb_conda的环境。

(base)C:\Windows\system32>condainstallnb_conda

2、创建环境

(base)C:\Windows\system32>condacreate-nenv_namepackage_name

env_name是设置环境的名称(-n是指该命令后面的env_name是你要创建环境的名称)

package_name是你要安装在创建环境中的包名称。

例如，要创建环境名称为py3的环境并在其中安装numpy，在终端中输入condacreate-npy3pandas。

3、创建环境时，可以指定要安装在环境中的Python版本当你同时使用Python2.x和Python3.x中的代码时这很有用。要创建具有特定Python版本的环境

创建环境名称为py3，并安装最新版本的Python3：condacreate-npy3python=3

创建环境名称为py2，并安装最新版本的Python2：condacreate-npy2python=2

安装特定版本(例如Python3.6):condacreate-npypython=3.6

4、进入环境

在Windows上，使用activateenv_name进入。

例如：activatepy3

在OSX/Linux上使用sourceactivateenv_name进入环境。

进入环境后，可以用conda相关的指令对包进行操作。

5、离开环境

在Windows上，终端中输入：

deactivate

在OSX/Linux上输入：

sourcedeactivate

6、删除环境如果你不再使用某个环境，可以使用condaenvremove-nenv_name删除指定的环境。