[小O地图-网抓]- 58同城二手房数据

 

小O地图提供抓取58网站二手房源数据的功能,抓取数据可以导出成CSV文件,导出数据包括图片。

目标页面:

 

【1】新建任务

新建任务,选择【网页爬虫/房产类/58二手房】,输入任务名称、保存路径等信息后,点【确定】,新建任务。

 

【2】选择目标页面

选择右边主界面工具条上【打开页面】,选择目标页面,如下图,

选中后会自动跳转到目标页面,请稍等,程序会自动解析页面分页数据,如下图:

 

【3】启动抓取功能

选择【页码下拉框】选择要抓取的页号,默认程序会自动进入数据抓取模式。

如果未进入自动抓取模式,可以点击【开始】按钮启动抓取功能。

 

【4】自动翻页

程序会自动判断当前页面数据,如抓取完成,则自动翻页进入下一页。如果未自动抓取,请执行【3】步,手动选择下一页。

 

【5】反爬虫功能

58网页会有反爬虫机制,如下图,当出现该验证页面,需要用户手动进行认证,通过后程序会自动继续抓取。如果未自动抓取,请执行【3】步,手动选择下一页。。

 

【6】导出CSV

抓取完成后可以将数据导出为CSV,在Excel表格中打开,同时导出的数据中包括房源图片。

图片

 

【7】切换城市

小O地图默认加载的页面是沈阳二手房信息,如果需要切换城市,请按照下图操作,选择到指定城市后,再重新执行以上爬取步骤。

 

【完】

(1)下载软件、使用教程 登陆官网 www.GIS9.com 
(2)技术支持QQ群:955 924 536
(3)联系作者:ExcelMaps@qq.com   QQ: 2818455057

 

 

 

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 Python 爬取 58 同城二手房数据的步骤如下: 1. 导入 requests 和 BeautifulSoup 库。 ```python import requests from bs4 import BeautifulSoup ``` 2. 设置请求头,模拟浏览器请求。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} ``` 3. 设置爬取的 URL,例如: ```python url = 'https://bj.58.com/ershoufang/' ``` 4. 发送请求,获取页源代码。 ```python response = requests.get(url, headers=headers) html = response.text ``` 5. 使用 BeautifulSoup 解析页源代码,提取需要的数据。 ```python soup = BeautifulSoup(html, 'html.parser') house_list = soup.find('ul', class_='house-list-wrap').find_all('li') for house in house_list: title = house.find('div', class_='title').get_text().strip() price = house.find('div', class_='price').find('p').get_text().strip() area = house.find('div', class_='area').find('p').get_text().strip() print(title, price, area) ``` 6. 将数据保存到文件或数据库中。 ```python with open('output.txt', 'w', encoding='utf-8') as f: for house in house_list: title = house.find('div', class_='title').get_text().strip() price = house.find('div', class_='price').find('p').get_text().strip() area = house.find('div', class_='area').find('p').get_text().strip() f.write(title + '\t' + price + '\t' + area + '\n') ``` 需要注意的是,爬取 58 同城二手房数据需要遵守相关法律法规和 58 同城的规定,不得用于商业目的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值