Scrapy环境搭建

1 需要安装的环境

（1）Python3.6
（2）PyCharm
（3）Twisted
（4）scrapy
（5）pypiwin32
注：
https://pan.baidu.com/s/1nxfhrkc_UeOfDzRDTc2c0Q#list/path=%2Fscrapy%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA

这里面包含了python3.6安装包，pycharm安装包，以及Twisted

python比较简单请自行百度
pycharm安装好后需要破解，请参考https://blog.csdn.net/u014044812/article/details/78727496
Twisted后面会说到

2开始安装

（1）pip下载源修改
安装好python之后，我们需要修改pip下载的镜像源（因为默认的是国外镜像源，pip安装模块，经常会出现超时现象）

（2）安装Twisted
打开cmd，将下载好的Twisted拖到cmd中并在前面加上命令pip install

（3）安装scrapy
在cmd中直接输入pip install scrapy即可
安装好之后，可以通过下边两种方式，查看是否安装成功：


（4）安装pypiwin32
在cmd中输入pip install pypiwin32

3 测试

（1）目标网站
这里以http://scitech.people.com.cn/GB/1057/index.html为例（如有侵权，请联系博主）
网页部分源代码：

（2）创建scrapy项目


（3）创建爬虫


（4）pycharm打开scrapy项目

（5）编写爬虫

（6）结果