Scrapy框架搭建流程

Scrapy框架搭建流程

     在学python爬虫搭建scrapy时遇到了很多问题，看了很多大神的博客后完成了Scrapy的安装，在这把框架搭建过程分享给大家。

总结归纳：按照下图，从下往上的顺序加载包即可完成安装。

安装演示：

我用的pip和pycharm配合安装，大家也可以只用PIP或者pycharm。但是前提是要确保PIP已经更新。

1、 更新PIP到最新的版本。

   DOS操作：

   python -m pip install --upgrade pip

2、 依次安装包。

       DOS操作：

       dos命令：pip install packageName

    

 ……

Pycharm操作如下：

a)        点击File->Setting->Project->Project Interpreder。

b)        再点击右上角的+号。

 

c)        在搜索框内输入要加载的包，并且点击Install Packag。

d)        最后安装 SCRAPY即可。

 

常见问题：

关于TWISED：

安装TWISED包时系统会报没有相应WHEEL的错误，这个时候需要手动下载，上网页：UnofficialWindows Binaries for Python Extension Packages，找到wisted-17.1.0-cp36-cp36m-win_amd64.whl下载（由于我的时PYTHON3.6大家可以根据自己的版本下载），

接着，在CMD下使用pip install “文件路径+whl文件名”即可成功安装对应的whl文件，既可以完成安装。

如：

         关于SCRAPY配置：

                   直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行输入scrapy

3、 测试

打开CMD，键入scrapy查看相应信息，即完成了安装。

在dos下，键入命令:scrapy startProjectname，则会在当前目录下配置一个名为name的scrapy框架的项目。