使用selenium爬取二手房源信息

最新推荐文章于 2022-11-22 00:39:42 发布

一群小蜜蜂

最新推荐文章于 2022-11-22 00:39:42 发布

阅读量689

点赞数 1

分类专栏：学习笔记文章标签： selenium

本文链接：https://blog.csdn.net/ljhihi/article/details/80172544

版权

本文介绍了如何使用selenium替代requests来爬取58同城的二手房源信息，以解决请求参数问题和避免验证码。通过控制窗口句柄，实现高效地在多个标签页间切换，抓取并保存数据，程序运行后可在CSV文件中查看完整结果。

摘要由CSDN通过智能技术生成

试了用requests来爬取58，效果不是很好，因为每一个链接地址点击之后，都会生成很多参数，如果不加的话，很快就会跳验证码，所以使用了selenium进行模拟点击，不去管这些参数怎么生成了，实测采集整个城市的信息都很流畅。

话不多说，先记录下代码：

from selenium import webdriver
import time,re,csv
from bs4 import BeautifulSoup
f = open('test1.csv','a',newline='')
w = csv.writer(f)
driver = webdriver.Firefox()
def get_info():
    links = driver.find_elements_by_xpath('//h2[@class="title"]/a')
    chandle = driver.current_window_handle
    for i in links:
        i.click()
        time.