windows下python3.5+安装scrapy与创建项目

scrapy框架的安装与创建项目

scrapy安装：

相信第一次安装scrapy框架都会遇到各种安装不上的问题！哈哈，别问我为啥知道！
那我分享下我是如何安装scrapy框架的。

首先安装scrapy框架之前需要先安装几个依赖的库
依照顺序分别是 zope.interface、 pyOpenSSL、 libxml2dom、 twisted、 lxml、
最后再安装Scrapy

-i 后边是国内源链接
这儿给大家列几个国内源链接：

阿里云 http://mirrors.aliyun.com/pypi/simple/ 
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 
豆瓣(douban) http://pypi.douban.com/simple/ 
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/ 
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

在这里给大家准备好了，方便copy

pip install zope.interface -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install  pyOpenSSL -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install libxml2dom -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install  twisted -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install Scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple/

当你安装好后，就可以来创建第一个scrapy项目了
在cmd下
cd到需要创建项目 的位置
输入 ：scrapy startproject 项目名。
到这一步就可以看到在该路径下有了scrapy项目了
然后我们再创建一个爬虫，cd到创建好的项目目录下
cmd下输入：scrapy genspider 爬虫名 爬取网站的域名
当然不止这一种爬虫，scrapy还提供了规则爬虫
创建爬虫的时候输入：scrapy genspider -t crawl 爬虫名 爬取网站的域名

更多关于scrapy的内容可以浏览我的其他文章