Ruia是一个基于asyncio和aiohttp的异步爬虫框架,它的目标是让你更加方便且迅速地编写出属于自己的爬虫。编写的方式与Scrapy十分相似,同时支持Xpath和CssSelector等多种页面解析方式,易于上手。作者的Github与知乎首页可以进去交流学习。
github:
https://github.com/howie6879/ruia
知乎:
https://www.zhihu.com/people/howie6879
01
Python环境安装
下载安装Anaconda镜像,国内推荐清华大学的镜像地址,选择下载Python 3.7版本,镜像地址:
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
安装mongo数据库,这里推荐一个教程,可以将mongo注册成windows服务。教程地址:
https://www.runoob.com/mongodb/mongodb-window-install.html
安装ruia,pip install -U ruia
安装motor,pip install -U motor
</