基于Scrapy框架的python网络爬虫（1）

1、搭建环境

这里我使用的是anaconda，anaconda里面集成了很多关于python科学计算的第三方库，主要是安装方便，anaconda中自带Spyder。
这里下载anaconda
比较推荐使用Python2.7
在anaconda下安装Scrapy也很简单！CMD进入命令行，直接输入conda install scrapy，然后点“y”,很简单就可以安装成功。
这样就搭建好了环境。

2、初步了解Scrapy

Scrapy官网教程，建议看看哦
首先应该解决的是如何创建一个新的scrapy项目

• 从命令行进入要创建新项目的目录下，scrapy startproject newone
  
• 打开目录即可看到一个新的文件夹，打开文件夹可以看到：
  
• 其中，items.py中的items作为加载所爬取数据的容器，它的结构像Python中的字典一样。打开你的items.py可以看到如下代码：
  name = scrapy.Field()就是一个典型的item