scrary框架的安装和简单的操作

今天在这里我向大家简单的谈论一下关于scrapy框架的安装，不当之处望大神给予指出。

1.关于scrapy框架

• Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

• 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

• Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

2.scray框架的安装

第一种方法：

1.如果你的电脑上事先安装了Anaconda软件，并且运用Aanconda配置的环境变量，在终端中输入 （conda install scrapy）点击Enter键，当进程全部获取过后下方会出现以下界面：输入y

3.检验是否安装成功，在终端输入2.scrapy按Enter键，当安装成功时如下图所示：

第二种方法：

 1.在cmd终端中输入（pip install scrapy）点击Enter，输出结果如下

2.进入http://www.lfd.uci.edu/~gohlke/pythonlibs/ 在网页中搜索twisted找到其对应的whl包并下载（注意根据个人pycharm安装时的操作环境，和pycharm的版本,名称中间的cp36是python3.6的意思，win是python的位数），下载过程较慢，请耐心等待。

3.将所下载的whl放置桌面。打开cmd终端输入：

pip install 

将所下载的whl拖入终端点击Enter即可（注意install后面空格）

  4.在所有的操作完成后输入scrapy点击Enter键，当出现以下页面时表明安装成功。

3.简单操作

1.安装成功后我们做一些简单的操作，

cd的意思是  change directory，

scrapy startproject baidu
cd baidu
scrapy genspider baidu baidu.com

安装以上代码即会创建一个名为baidu的文件，如下图所示。

2.分别按照文件夹层级的格式进行操作

今天我先介绍到这里 。未完待续。。。。