帮粉丝写爬虫会成为这个系列的最后10篇内容,如果你有想要爬取的网站,在评论区告诉我吧,当然爬虫100例课程结束之后,还会持续为大家提供一些更加有趣的爬虫博客或者Python视频课
写在前面-Ruia
本篇博客介绍的框架为Ruia
,一款基于 asyncio
和 aiohttp
的异步爬虫框架,其余过多的介绍咱就不废话了,直接看一下github地址:https://github.com/howie6879/ruia
github主页上罗列了几个特点,一会我们实际体验一下,看框架开发者是否有夸大的成分~
- Easy: Declarative programming
- Fast: Powered by asyncio
- Extensible: Middlewares and plugins
- Powerful: JavaScript support
安装比较简单pip install -U ruia
有人可能会多问一句,上面命令-U
是啥意思啊:-U
是 --upgrade
,意思是如果已安装就升级到最新版。
打开文档说明,找到如下内容
Ruia is An asynchronous web scraping micro-framework, powered by asyncio and aiohttp, aims at making crawling url as convenient a