scrapy框架的安装与创建项目
scrapy安装:
相信第一次安装scrapy框架都会遇到各种安装不上的问题!哈哈,别问我为啥知道!
那我分享下我是如何安装scrapy框架的。
首先安装scrapy框架之前需要先安装几个依赖的库
依照顺序分别是 zope.interface、 pyOpenSSL、 libxml2dom、 twisted、 lxml、
最后再安装Scrapy
-i 后边是国内源链接
这儿给大家列几个国内源链接:
阿里云 http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
在这里给大家准备好了,方便copy
pip install zope.interface -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install pyOpenSSL -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install libxml2dom -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install twisted -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install Scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple/
当你安装好后,就可以来创建第一个scrapy项目了
在cmd下
cd到需要创建项目 的位置
输入 :scrapy startproject 项目名。
到这一步就可以看到在该路径下有了scrapy项目了
然后我们再创建一个爬虫,cd到创建好的项目目录下
cmd下输入:scrapy genspider 爬虫名 爬取网站的域名
当然不止这一种爬虫,scrapy还提供了规则爬虫
创建爬虫的时候输入:scrapy genspider -t crawl 爬虫名 爬取网站的域名
更多关于scrapy的内容可以浏览我的其他文章