基于bs4+requests的安居客爬虫

最新推荐文章于 2024-06-02 21:08:37 发布
最新推荐文章于 2024-06-02 21:08:37 发布
阅读量400 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaosa_kun/article/details/84868382
版权
本文介绍了一个使用BeautifulSoup4和requests库爬取安居客厦门房源信息的Python爬虫项目。首先确保安装了anaconda环境，并通过spyder进行代码调试。在命令行中使用pip安装必要的库，然后指定爬取安居客厦门站的URL。代码区分Python2和Python3的print语句方式。
摘要由CSDN通过智能技术生成

1.代码可以直接运行,请下载anaconda并安装，用spyder方便查看变量
或者可以查看生成的excel文件
2.依赖库，命令行运行(WIN10打开命令行快捷键：windows+x组合键，然后按a键)：
pip install BeautifulSoup4
pip install requests
3.爬取的网站是安居客(厦门)网站，可以进入https://xm.fang.anjuke.com/loupan/all/进行观察
4.关于如何判断代码是python2还是python3,print('')为python3，print ''为python2

# -*- coding: utf-8 -*-
"""
Created on Sun Jan 14 19:07:39 2018

@author: Steven Lei
"""

def getHousesDetails(url):
  import requests
  from bs4 import BeautifulSoup
  
  request = requests.get(url)
  request.encoding = 'utf-8'
  soup = BeautifulSoup(request.text,'lxml')
  houses = soup.select('.item-mod')[3:]
  housesDetails = []
  for house in houses:
    #获取楼盘名字
    houseName = house.select('.items-name
最低0.47元/天 解锁文章
xiaosakun
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python 安居客 爬虫_基于bs4+requests的安居客爬虫-阿里云开发者社区
weixin_39712611的博客
12-21 227
1.代码可以直接运行,请下载anaconda并安装，用spyder方便查看变量或者可以查看生成的excel文件2.依赖库，命令行运行(WIN10打开命令行快捷键：windows+x组合键，然后按a键)：pip install BeautifulSoup4pip install requests3.爬取的网站是安居客(厦门)网站，可以进入https://xm.fang.anjuke.com/loup...
安居客出租房（武汉为例）爬虫+数据分析+可视化
06-22
### 安居客出租房（武汉为例）爬虫+数据分析+可视化 这个爬虫是我前段时间在淘宝上做单子的时候遇见的一个客户需求。本来以为就是一个简单的爬虫项目。但后面客户加了数据清洗和数据分析的要求。而后又加了要详细代码解释的需求等等。直到最后客户坦白说这是他们大专的毕设.......但是这个单子坐下来只有200左右，我想了一下，感觉好亏啊。在淘宝上随便找一个做毕设的都要好多钱的，而且客户本身的代码能力、数学、逻辑能力都很差，导致我每行都给注释以及看不懂，在我交付代码后又纠缠了我一个多礼拜。反正总体做下来的感觉就是烦躁。头一次感觉到了客户需求变更带来的巨大麻烦。 总之这是一次不是很愉快的爬虫经历。但是作为我写爬虫以来注释最详细的一次，以及第一次真正使用像matplotlib这种数据分析库的代码，我认为还是有必要分享出来给大家当个参考的（PS：大佬轻拍~）。爬虫本身几乎没有什么难度，写的也比较乱，敬请见谅。 **功能** 爬取安居客上的出租房信息（武汉地区的），并通过爬取的数据进行数据清洗以及数据分析。给出四个不同层面的可视化图。最终结果如下图所示： ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/1.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/2.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/3.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/4.png) **环境** 1. Windows 10 2. python3.7 **使用方法** 首先声明该爬虫由于是特定情况下写的，所以本身的通用性特别差，仅可以对安居客网站上的武汉的出租房信息进行爬取，且需要自己手动更新cookie。同时在对数据进行分析及可视化的时候由于也是特别针对武汉出租房的进行的，所以针对性也比较强。如果别的需求需要自己进行更改。 1. 访问[安居客网址](https://wuhan.anjuke.com/)，获取cookie。 > tip：获取cookie的方法可根据[此链接](https://jingyan.baidu.com/article/5d368d1ea6c6e33f60c057ef.html) 2. 在项目中找到`spider.py`的文件，将第12行的cookie换成你自己的cookie。 3. 运行`spider.py`，获取房源信息。运行后应会产生一个`武汉出租房源情况.csv`的文件。此文件为我们从安居客上爬取的房源信息，其中包含`房屋租住链接、房屋描述、房屋地址、房屋详情（户型）以及经纪人、房屋价格`五个属性。 4. 在获取了数据之后我们运行`matplotlib.py`文件。进行数据清洗，分析，可视化。运行后即可获得**功能**中展示四个图片。 **技术栈** 1. request 2. parsel 3. pandas 4. matplotlib **进步（相比之前）** 此次爬虫相比之前的技术上可以说有减无增。但其中注释相当详细，可谓是每行代码都有注释。所以对于初学者应该有一些用处。同时使用matplotlib进行了数据分析可视化等。对于数据处理的代码的注释也是几乎每行都有注释的。
[Python爬虫实战2]爬取济南安居客网站上所需街区的二手房平均房价数据
想吃鸡排饭的博客
05-17 4472
一、项目简介 有20w的济南用户地址信息（所在区县+街道），用济南市安居客网站（https://jinan.anjuke.com/sale/）查找每个用户所在街道的二手房房源信息，并求出该街道下的所有二手房的平均房价，即xxx元/㎡。 最终输出按用户地址文件的原顺序（不要过滤也不要打乱顺序） 输出格式：工作地经度,工作地纬度,居住地经度,居住地纬度,区县,街道,房价 二、安居客网页分析 以“山东省济南市历城区东风街道”中的“东风街道”搜索为例，提示：在安居客想要按照街道名搜索房源时最好不要加区县名，.
Python爬虫之路(9)--an居客数据获取
meng7000的博客
06-02 1192
安居客网站的房间各种数据获取。在前文当中，我们学习了xpath解析，本文讲利用xpath对安居客进行数据分析与提取的解析。
python爬虫爬取安居客房源信息
qq_39321513的博客
12-24 7724
爬取安居客房源信息Xpath插件的安装爬取重庆花溪附近的房源信息（进入正题啦~）代码代码的问题 & 运行时可能出现的问题结果数据处理部分（写给我自己哒~） Xpath插件的安装 链接：https://pan.baidu.com/s/1T3V11Ev8dPODa2fCRbeuCg 提取码：qvzf 将这个安装包解压缩 打开谷歌浏览器的扩展程序 ----> 打开开发者模式 ----> 点击加载已解压的扩展程序 ----> 选择解压的文件夹 看下图操作 就会出现这个 浏览器导
基于python爬取安居客房价数据
01-26 856
基于python爬取安居客房价数据
基于python3+requests+BeautifulSoup4的知乎内容爬虫源码.zip
02-21
基于python3+requests+BeautifulSoup4的知乎内容爬虫源码.zip 1.爬取内容：问题ID、问题标题、问题提出时间、问题来自的子话题 2.爬取内容：问题ID、标题、内容、标签、提问者、所有回答（回答人、回答内容、回答...
北航博雅课程 Python + requests 爬虫接口.zip
03-05
北航博雅课程 Python + requests 爬虫接口.zip 北航博雅课程 Python + requests 爬虫接口。 提供最基本的登录，查询，选课，退选接口。 你可以在此之上开发自己的程序。 安装 python 安装依赖包，在终端输入以下...
python+requests+pytest 接口自动化框架(1-4)
06-02
python+requests+pytest 接口自动化框架 1 pytest插件，运行规则以及参数，pytest.ini配置文 件，跳过用例，用例执行顺序，夹具等 2 Fixture固件，contest.py，断言以及Allure报告生成 3 Pytest测试框架之Allure报告...
北京小区数据库
12-10
共包含7658条北京小区数据，表结构如下： CREATE TABLE `village_bj` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `village_name` varchar(191) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '小区名', `village_number` varchar(32) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '小区编号', `latitude` decimal(10,7) DEFAULT NULL COMMENT '地理位置纬度', `longitude` decimal(10,7) DEFAULT NULL COMMENT '地理位置经度', `address` varchar(191) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '街道及详细地址', `region` varchar(64) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '小区所属的区', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci
python基于flask+requests+beautifulsoup4爬取电影天堂影片信息并进行web可视化展示项目
06-23
Flask-Movie是基于python3.6+Flask1.1.1+requests+Beautifulsoup4开发的抓取电影天堂影片展示项目 使用方法： 1.安装Python3.6环境 2.下载代码到本地并解压 3.cmd到根目录下安装相关依赖包 pip install -r ...
Python+Requests+PyTest+Excel+Allure+sendMail
12-29
标题 "Python+Requests+PyTest+Excel+Allure+sendMail" 描述的是一个使用Python进行接口自动化测试的综合实践项目。在这个项目中，开发者利用了一系列的Python库和技术，包括Requests库来发送HTTP请求，PyTest作为...
Python之爬取安居客网二手房小区详情页数据
热门推荐
qq_38230663的博客
05-23 1万+
哈喽，小伙伴们，前两篇博客案例基本上将爬虫基础流程介绍的差不多了，这篇博客开始放重磅炸弹，难度系数上升一些（难度1：涉及二级页面爬取，难度2：共爬取17个字段）。本文的主要内容：以石家庄市为例，爬取安居客网二手房小区的详情页的相关字段信息，关于二手房小区首页信息的爬取这里就不作过多介绍，因为与上一篇博客（Python爬取58同城在售楼盘房源信息）的爬虫步骤基本一致，感兴趣的小伙伴可以去看下呀。好了，废话不多说，开始展开~ 首先，我们先打开安居客官方网站，设置好两个筛选条件：石家庄市、二手房小区（这个根据小
Python爬虫整站爬取安居客新房房源数据
weixin_44530636的博客
07-09 4832
对安居客新房房源进行整站爬取，全国所有城市的新房数据。 获取数据字段也主要集中在第一个页面，并未进行二层页面的挖掘 在持续爬取过程中，会出现验证码的过程，不过它的验证码还是比较友好的， 只需要在浏览器拖动图片就行，代码又能重新运行了。整个爬取过程中我只 拖动了两次。所以安居客是算非常友好的网站了，当然上述问题也可以使用代理IP 解决。接下来还可以做的，加上代理IP，加上多线程，进行二级页面的进一步...
爬虫项目——安居客房源信息
staring789的博客
12-15 1177
爬取安居客二手房信息。
安居客爬虫
xiaoyun5555的博客
06-20 1656
# -*- coding: UTF-8 -*- # @Project ：dome # @Email : 274695262@qq.com # @File ：test_ajk.py # @IDE ：PyCharm # @Author ：wangruifeng # @Time ：2021/06/17 17:34 from selenium import webdriver import time import re from selenium.webdriver.chrome.o
VB+ACCESS宾馆客房管理系统(系统+论文+封面).zip
最新发布
08-16
计算机毕业设计资源包含（项目部署视频+源码+LW+开题报告等等），所有项目经过助教老师跑通，有问题可以私信博主解决，可以免费帮部署。
python 安居客 爬虫_Python爬虫安居客房价信息（并利用百度地图API查询坐标）
05-20
from bs4 import BeautifulSoup import json def get_location(city, address): url = 'http://api.map.baidu.com/geocoder/v2/' params = { 'address': address, 'city': city, 'output': 'json', 'ak': '你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值