python3 [爬虫实战] selenium + requests 爬取安居客

最新推荐文章于 2024-05-13 01:41:58 发布

xudailong_blog

最新推荐文章于 2024-05-13 01:41:58 发布

阅读量1k

点赞数

分类专栏： # python3爬虫我的python3爬虫之路文章标签： python selenium 框架库

本文链接：https://blog.csdn.net/xudailong_blog/article/details/78046747

版权

本文介绍了如何结合selenium和requests库，爬取安居客网站上的地区名称和链接。由于直接使用requests无法获取数据，作者转向使用selenium框架。提供了相关代码片段，成功抓取到大约650条正确数据，并将代码上传至GitHub。

摘要由CSDN通过智能技术生成

因为她用的scrapy框架，感觉有些大才小用了，所以就直接用了一个requests库，selenium 和xpath进行一整页数据的爬取

我们爬取的网站：https://www.anjuke.com/sy-city.html

获取的内容：包括地区名，地区链接：

安居客详情

1 一开始直接用requests库进行网站的爬取，会访问不到数据的，会直接出现访问的页面出现错误的信息。（ps：这里就暂时不打印出来了。）

2 因为一直报错，脑瓜子不知道怎么的就想到了selenium 这个框架，可能是爬安居客之前用selenium 爬取了天猫的商品内容吧。

3 selenium 的使用,我的博客上有说过：

http:/blog.csdn.net/xudailong_blog/

4 现在贴上代码片段：

# -*- coding: utf-8 -*-
# @Time    : 2017/9/19 21:36
# @Author  : 蛇崽
# @Email   : 17193337679@163.com
# @File    : anjuke.py 安居客房产网

关注

专栏目录