你以为只要学了selenium就可以了? scrapy简直神来之笔好吗!用一句y总的话:
安装Scrapy
Scrapy是一个python爬虫的一个框架。使用框架写爬虫可以减少代码的编写,提升爬取的效率。
由于pip安装会自动安装scrapy爬虫框架依赖的各种包,安装速度较慢,出错概率较大,建议增加-i参数,使用清华镜像安装。
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
在prompt中输入scrapy即可验证是否安装成功。
安装过程中如出现各种错误,根据错误提示安装对应的库文件即可。
依赖包: lxml 、 pyOpenSSL 、 Twisted 、 pywin32.当然也可以在之前先安装好依赖的各种包 再下载 scrapy。