目录
一、Scrapy爬虫框架
1、Scrapy爬虫框架介绍
(1)Scrapy的定义
功能强大的网络爬虫框架。
(2)Scrapy的安装
管理员权限启动cmd。
输入:
pip install scrapy
备注:在使用pip的时候,在后面加上-i参数,指定pip源。
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
安装后小测:
scrapy-h
备注:原来的Scrapy的安装方法不实用;故采用以下的安装方法。
①首先安装Anaconda。(https://blog.csdn.net/wyatt007/article/details/80369755)
②管理员权限启动Anoconda Prompt,输入conda install scrapy。
③稍等片刻,按回车键。
④出现Proceed,输入y,按回车键。
⑤输入conda list,发现有scrapy,说明安装成功。
(3)Scrapy爬虫框架结构
scrapy不是一个函数功能库,而是一个爬虫框架。
①爬虫框架:爬虫框架是实现爬虫功能的一个软件结构和功能组件集合;爬虫框架是一个半成品,能够帮助用户实现专业网络爬虫。
②“5+2”结构:
过程:
1:Engine从Spiders处获得爬取请求(Requests)。
2