本文介绍了利用Ruia异步爬虫框架抓取链家网站上海浦东地区小区成交数据的过程。首先，通过Anaconda安装Python环境，接着部署mongo数据库。然后，通过pip安装ruia和motor库。在代码实现中，继承ruia的Spider类，使用css_select和xpath_select解析页面元素，将数据存储到MongoDB。最后，展示了如何在Mongo Compass中查看和过滤数据，如建成年份和商圈位置。
Ruia是一个基于asyncio和aiohttp的异步爬虫框架，它的目标是让你更加方便且迅速地编写出属于自己的爬虫。编写的方式与Scrapy十分相似，同时支持Xpath和CssSelector等多种页面解析方式，易于上手。作者的Github与知乎首页可以进去交流学习。
github：
https://github.com/howie6879/ruia
知乎：
https://www.zhihu.com/people/howie6879
01
Python环境安装
下载安装Anaconda镜像，国内推荐清华大学的镜像地址，选择下载Python 3.7版本，镜像地址：
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
安装mongo数据库，这里推荐一个教程，可以将mongo注册成windows服务。教程地址：
https://www.runoob.com/mongodb/mongodb-window-install.html
安装ruia，pip install -U ruia
安装motor，pip install -U motor
</
最低0.47元/天 解锁文章
7285
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
