一个简单的爬虫——收集安居客上海租房信息

最新推荐文章于 2025-02-01 04:14:22 发布
最新推荐文章于 2025-02-01 04:14:22 发布
阅读量8.2k 收藏 1
点赞数 1
分类专栏： 爬虫 文章标签： java 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012983749/article/details/52204496
版权
本文介绍了一个使用Java编写的简单爬虫，用于收集安居客上海租房信息。作者通过分析网页数据，利用Jsoup替代正则表达式进行解析，并存储到数据库中。在运行过程中，遇到了数据库连接管理和IP限制等问题，并提出了相应的解决方案。最终，程序成功收集了1000条数据，并进行了初步的数据分析，揭示了上海租房市场的部分特征。
摘要由CSDN通过智能技术生成


Part 1:

2016年8月13号晚开始写第三个爬虫小程序（安居客），至8月14号中午完成编写并运行成功。

项目源码：https://github.com/carlblocking/xxw-for-public/tree/master/AnJuKeSpider

总体思路：

 

这里借鉴了Web Magic的框架，但没有完全照搬。这里对于Web Magic，个人还是有一点小意见，即里面的正则表达式。个人有些反感正则表达式，还是喜欢用Jsoup来解析网页（运行下来主观感受是Jsoup比正则匹配更快，而且更容易理解）。

在整个小程序中，只有一个实体类，houseInfo类。该类主要用于存储出租房屋的相关信息。包括租金、地点等。

Anal

最低0.47元/天 解锁文章
安居客武汉租房 json 数据
01-09
Python scrapy爬取的数据，如果需要可以联系我分享代码
JAVA+jsoup爬取某房产网房源信息
03-20
博客：https://blog.csdn.net/cherfz/article/details/88640459
使用java实现一个简单的抓取安居客租房信息的爬虫
gottawangzi的博客
05-22 3483
 最近，实验室的师兄马上就要毕业，要在工作的附近租个房子。于是自己就抱着玩一下的心态去安居客上爬取租房信息。首先我是用的是Jsoup来分析html网页，从中获得我们所需要的数据。在得到这些数据之后，再将这些数据导入到我们本地的excel表格中，这里我使用了网上的一个开源工具包xxl-excel很好用。接下来我们就可以开始动手爬取网页信息了。首先打开安居客的网页。先在网站上初步刷选。我使用的是谷歌浏...
安居客租房信息爬取
z_ipython的博客
08-24 3005
主要使用工具：request，xpath 根据安居客城市列表进行爬取，本人只进行首字母开头N-S城市租房信息的爬取。 爬虫的主要思路： 1、根据url请求页面，返回页面数据 2、解析页面内容，抓取我们所需数据信息 安居客租房信息爬取思路： 1、先根据城市列表url获取到每个城市的url链接 2、在根据城市url获取该城市的租房链接，拼接为完整的url （注意：并不是每个城市都有租房信息，注意异常处...
Python安居客二手小区数据爬取(2025年)
最新发布
abcbbbd的博客
02-01 2480
从上面这张图里我们可以发现数据是写在了html的源码里的，每个小区的数据都包裹在一个li-row的a标签里面,因此我们只需要把list-cell里面的所有li-row都遍历一遍，就可以获取一页的小区相关数据，当然这里还没包含详情页数据~这是爬取的结果，如果只要其中的部分列，我建议直接删除最终的csv表格，而不是修改代码，代码能运行就尽量别动 -_-!这里看到小区的总数量，以及相关的小区的名字等信息，红框框起来的数据一般是我们所关心的。💡 这俩库相当于你的"爬虫工具箱"，一个负责上网，一个负责解析网页。
requests简单爬取安居网租房信息
半吊子python全栈
04-02 3392
对pyquery不是很熟，所以是练习一下用pyquery来筛选数据,data文件里面是2000个浏览器请求头，每次发生数据前随机获取一个，筛选的数据只能获取50页，3000条，将条件设的更详细点简要代码如下import requestsimport reimport pymongofrom pyquery import PyQuery as pqimport randomimport timefr...
利用BeautifulSoup爬取我爱我家的租房数据
微瞰技术的博客
07-18 1527
因为之前对BeautifulSoup一直不是很熟悉，刚好身边的朋友同事在找房子，就想着能不能自己写个爬虫爬一下数据，因此就写了这个爬虫。基本都是边看书边写的，不过也没什么好讲的。直接粘代码了。 # coding=utf-8 import requests from bs4 import BeautifulSoup import pymysql import time db= pymysql.c...
java网络爬虫爬取安居客租房信息（文章结尾附有完整代码）
dlz_yhn的博客
07-23 2019
步骤 1： 首先编写爬虫代码获取每一页的 url 安居客租房页面，每一页大约有 60 多条租房信息，每条租房信息如第 9 页 共 22 页 图所示： 打开该页面的 html 代码 分析可得改图片中的红框中的链接即为每条详情租房信息的链接，首 先将每条详情租房信息链接爬下来。 所得结果如下 爬虫代码为： URL url = new URL(DOU_BAN_URL.replace("{pageStart}",pageStrat+"")); HttpURLConnection con..
基于大数据的一线城市住房租赁影响因素分析
yzylovets的博客
07-05 3074
影响住房租赁价格的影响因素并未形成体系，本文将借助大数据技术分析北上广深四个城市的住房租赁影响因素。利用网络爬虫技术获取房屋条件和住房租赁价格。利用Poi大数据获取城市居住区的区位配套条件。借助数据清洗、文本挖掘等大数据技术进行数据处理，得到住房租赁的真实数据。对区位配套条件进行重点分析，借助高德地图开放平台、Arcgis核密度分析和线性回归方程分析对区位配套条件和住房租赁价格进行空间上的分析和可视化呈现。............
30+爬虫案例分享，从简单到复杂通通都在这里啦~
02-15 2700
爬虫案例分享
数据采集课设—链家家居爬取
qq_74059706的博客
07-04 871
本次课程以链家网房源信息为例，爬取链家网二手房的房源信息相关，爬取完房源信息相关数据之后，对房源信息数据进行预处理，进行删除重复值，调整数据表格格式等一系列数据预处理操作，保证数据的准确性。在对链家网房源信息数据采集与预处理之后，对房源信息数据进行数据可视化相关操作，分析影响房价的一些因素，尝试画出了这些因素与房价的分布情况。
大数据：数据合集，你想要的或许这里都有
wj1314250的博客
05-08 9554
大数据时代，用数据做出理性分析显然更为有力。做数据分析前，能够找到合适的的数据源是一件非常重要的事情，获取数据的方式有很多种，不必局限。下面将从公开的数据集、爬虫、数据采集工具、付费API等等介绍。给大家推荐一些能够用得上的数据获取方式。一、公开数据库1.常用数据公开网站UCI：经典的机器学习、数据挖掘数据集，包含分类、聚类、回归等问题下的多个数据集。很经典也比较古老，但依然活跃在科研学者的视线中...
Java爬虫-利用jsoup(抓安居客房源)
Tomato egg
09-25 1855
利用javaj的soup写了一个小爬虫，自己测试玩，抓起安居客的房源信息。package com.fangejia.web.admin.jsoup;import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;/**
安居客爬虫，采用Pycharm软件爬取安居客小区数据。.zip
01-20
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
bs4+phantomjs爬取安居客二手房信息
qq_33854211的博客
11-07 1182
bs4+phantomjs爬取安居客二手房信息这是我的第一篇博客，希望通过养成写博客的习惯来督促自己学习。开发环境以及需要安装的模块 - Python3.6 - requests pip install requests - BeautifulSoup4 pip install BeautifulSoup4 - selenium pip install selenium - pha
安居客爬虫
xiaoyun5555的博客
06-20 1763
# -*- coding: UTF-8 -*- # @Project ：dome # @Email : 274695262@qq.com # @File ：test_ajk.py # @IDE ：PyCharm # @Author ：wangruifeng # @Time ：2021/06/17 17:34 from selenium import webdriver import time import re from selenium.webdriver.chrome.o
Python爬取安居客房产经纪人信息采集
人生苦短， 还不用Python？
05-11 558
为了使用各种应用场景，该项目的整个网络爬虫产品线包含了四类产品，如下图所示： Python和相关依赖库的安装 运行环境：Windows10 安装Python3.5.2 Lxml 3.6.0 下载网页内容提取器程序 网页内容提取器程序是GooSeeker为开源Python即时网络爬虫项目发布的一个类，使用这个类，可以大大减少信息采集规则的调试时间 网络爬虫的源代码 运行过程如...
使用Python爬取安居客二手房房价数据
weixin_43536034的博客
08-10 3998
作为一个Python新手，公司突然安排我爬取房价数据，真让人有点头大啊！幸好网上的大佬们经验丰富，给予了很多代码上的帮助。本文代码在网友pythoner111爬虫项目–爬取安居客二手房信息的基础上修改，爬取过程顺利，若有不足之处还请大家指出修改。 import requests import bs4 import time import random import pandas as pd import openpyxl house_info=[] for i in range(1,100):
java爬虫
victorxuqili的博客
10-16 1378
java定向爬虫（入门级）java和python制作爬虫各有特点，但都需要用到已经封装好的类，下面开始一步一步的讲解，当作整理。
python爬虫——北京租房信息导入excel
05-17
以下是一个简单的 Python 爬虫实现，用于从北京租房信息网站上爬取租房信息并将其导入到 Excel 文件中。 首先，我们需要安装以下 Python 库： - requests：用于发送 HTTP 请求和获取网页内容。 - Beautiful Soup：用于解析 HTML 和 XML 网页内容。 - openpyxl：用于操作 Excel 文件。 可以使用 pip 命令进行安装： ``` pip install requests beautifulsoup4 openpyxl ``` 接下来，我们需要编写 Python 代码： ```python import requests from bs4 import BeautifulSoup from openpyxl import Workbook # 发送 HTTP 请求并获取网页内容 url = 'https://bj.zu.anjuke.com/fangyuan/p1/' response = requests.get(url) html = response.text # 使用 Beautiful Soup 解析网页内容 soup = BeautifulSoup(html, 'html.parser') houses = soup.select('.zu-itemmod') # 创建 Excel 文件并添加表头 wb = Workbook() ws = wb.active ws.append(['标题', '链接', '小区', '面积', '租金']) # 遍历租房信息并将其添加到 Excel 文件中 for house in houses: title = house.select('.zu-info h3 a')[0].text.strip() link = house.select('.zu-info h3 a')[0]['href'] community = house.select('.details-item')[0].text.strip() area = house.select('.details-item')[1].text.strip() price = house.select('.zu-side strong')[0].text.strip() ws.append([title, link, community, area, price]) # 保存 Excel 文件 wb.save('beijing_rent.xlsx') ``` 该爬虫程序将会从北京租房信息网站的第一页开始爬取租房信息，包括标题、链接、小区、面积和租金，并将其添加到 Excel 文件中。你可以根据需要修改代码以实现更多功能。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值