python爬虫爬取贝壳网上动态加载的数据

最新推荐文章于 2024-06-14 11:43:45 发布
最新推荐文章于 2024-06-14 11:43:45 发布
阅读量3k 收藏 6
点赞数
分类专栏： 爬虫 文章标签： 贝壳 动态加载
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22592457/article/details/100122451
版权
本文介绍了如何使用Python爬虫抓取贝壳网上动态加载的房源带看数据。通过分析Chrome浏览器的XHR请求，发现数据以JSON格式异步加载。通过发送请求获取JSON文件，然后解析提取所需信息。还简要概述了Chrome开发者工具的Network面板在爬虫中的应用。
摘要由CSDN通过智能技术生成

一、背景思路

爬取贝壳上二手房信息时，想要将对应房源近一个月的带看信息弄下来，看看哪些房源热度最高。结果毫无意外，简单粗暴的BeautifulSoup+select无法将这部分信息弄下来，如下图，如果带看记录过多，页面是通过按钮控制切换的，静态页面上最多只有当前3个带看信息。

一般像这种在局部页面点击能进行数据更新，而网页的url不会变化的，大概率都是通过异步加载（AJAX）进行数据更新。沿着这个思路观察了一下，果真在XHR中找到了这部分信息（关于chrome浏览器下的XHR、JS等，下面第三部分会介绍的哈），AJAX实现异步更新是Json，所以接下来只需想办法把相应的json文件弄下来，就能提取到想要的信息了。

二、先上代码再说

首先在XHR找到对应请求的的url，用requests.get()发送请求，再用json.load()下载json信息，接下来就按在字典里提取值的方法进行数据提取了


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  J符离
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    6
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
python--贝壳租房爬虫及数据可视化

				
			

			

				

					Mifoam0210的博客
				

				

					12-19
					
					3558
					
				

			

		

		

			
				
此次爬取的是贝壳网成都地区的租房信息，以下是部分源码

1.目标网址



2.确定爬虫使用的工具库



3.获取目标区域的数据

4.将数据以csv形式存储



5.运行结果



6.数据可视化



7.结果展示




...

			
		

	



                

              
                



	

		

			

				
					
【Python】爬取贝壳网深圳二手房数据

					
热门推荐

				
			

			

				

					会飞的大象
				

				

					10-31
					
					1万+
					
				

			

		

		

			
				
【Python】爬取贝壳网深圳二手房数据
一，爬取数据
1，爬取目标内容


先打开页面https://sz.ke.com/ershoufang/ ，看下页面的结构，分页的列表页，点击就可以跳转到对应的详细页面，有详细的二手房信息。

主要爬取编号、户型、楼层、朝向、面积、单位面积房价、总价、小区名称、所在区域以及URL。
2，爬起思路
贝壳网二手房都是这种分页的形式，总共100页，每一页的列表有...

			
		

	



                


  
              

                


	

		

			

				
					
Python爬虫实战：爬取贝壳网二手房成交数据，将数据存入Excel。

					
最新发布

				
			

			

				

					weixin_45195493的博客
				

				

					06-14
					
					940
					
				

			

		

		

			
				
【代码】Python爬虫实战：爬取贝壳网二手房成交数据，将数据存入Excel。

			
		

	





	

		

			

				
					
python爬虫，爬取贝壳网数据简单案例

				
			

			

				

					m0_58239511的博客
				

				

					10-17
					
					2308
					
				

			

		

		

			
				
简单的展示爬虫功能

			
		

	



		

			
		



	

		

			

				
					
Python-链家网和贝壳网房价爬虫

				
			

			

				

					08-10
				

			

		

		

			
				
链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 

			
		

	





	

		

			

				
					
贝壳找房网站爬取杭州新房数据

				
			

			

				

					03-21
				

			

		

		

			
				
贝壳找房网站爬取杭州新房数据

			
		

	





	

		

			

				
					
贝壳二手房全国房产信息爬虫存入mysql.zip

				
			

			

				

					08-12
				

			

		

		

			
				
在这个项目中，我们主要关注的是如何使用Python爬虫技术从贝壳网上抓取二手房的全国房产信息，并将这些数据存储到MySQL数据库中进行后续的数据分析。以下是对这一过程的详细阐述：  1. **贝壳网房产信息爬虫**：  - ...

			
		

	





	

		

			

				
					
python 房价（数据爬取）.zip

				
			

			

				

					07-19
				

			

		

		

			
				
通过爬取贝壳网的数据，可以获取到房源的地理位置、价格、面积、户型等多种信息。这些数据可以用于房价趋势分析、区域比较研究等目的。  5. 分析与可视化：在获取数据后，可以使用matplotlib或seaborn库进行数据可视...

			
		

	





	

		

			

				
					
爬取贝壳和房天下——北京二手房在售和已成交百万级别数据（附详细思路和部分源码）

				
			

			

				

					Guo_ping'blog
				

				

					12-20
					
					1918
					
				

			

		

		

			
				
前言
在港校做RA期间，本周老师安排了爬取国内二手房的交易网站，我先调研对比了各平台，之后选取了房天下和贝壳的数据进行爬取
贝壳
房天下
因课题保密的要求，数据和完整代码无法分享，如果有需要的朋友或老师可以联系我个人微信(liguopingHNU)进行定制化爬取数据

提示：以下是本篇文章正文内容，思路和代码可供参考
文章目录前言一：爬取目标二：网页结构的分析2.1 网站首页2.2 使用selenium访问2.3 多线程加快爬取速度2.4 注册bug2.5 使用request带cookies访问三.问题记录

			
		

	





	

		

			

				
					
举一反三的贝壳网爬虫

				
			

			

				

					mainspeak的博客
				

				

					05-10
					
					1721
					
				

			

		

		

			
				
文章目录前言一、基本库介绍二、具体实现步骤1.引入库和请求头的初始化2.获取移动端接口的数据3.存储和解析4.获取多页数据5.可视化数据总结

前言
写过各种爬虫代码，但一直没有写过具体的实现过程，现分享一个简单的爬虫实现过程，其它复杂的爬虫也能举一反三,下面爬取的是一个售房网站

一、基本库介绍
示例：requests是python的一个三方扩展库，可用pip直接安装，或者手动在pypi下载后使用pip离线安装。
安装方法（安装python方法省略，这里默认你已经安装好python）：
python3 -

			
		

	





	

		

			

				
					
贝壳二手房网站二手房信息爬虫

				
			

			

				

					05-01
				

			

		

		

			
				
在日常工作和学习中可能会遇到需要用Python或其他形式的爬虫获取二手房信息的需求，但又会苦于没有合适的代码，本项目为各位提供一个可直接上手的python爬虫代码，下载即可运行，可根据年份、日期、地区、价格等信息进行筛选。亮点如下：
利用Python的requests和multiProcess库实现对贝壳二手房网站的二手房的信息爬取。
含有源文件、输出文件、以及Word形式的操作指南，可无压力上手。
使用multiprocess库实现异步请求，提升程序速度。

			
		

	





	

		

			

				
					
python 爬取贝壳的一些思路和方法设计(用地址找到小区名字)

				
			

			

				

					weixin_44818729的博客
				

				

					11-25
					
					954
					
				

			

		

		

			
				
1.查mysql 获取 title 或者 address




2.用title或者address参数,request.get方法 查百度地图的地址api:

http://api.map.baidu.com/place/v2/search?query=成都市青羊区青羊上街336号2栋2单元21楼2102号房屋及室内装修&tag=房地产&region=成都
&o...

			
		

	





	

		

			

				
					
贝壳二手房爬虫，搞搞房价

				
			

			

				

					lxlx123abc的博客
				

				

					06-06
					
					1056
					
				

			

		

		

			
				
本次要爬取的目标网站是贝壳二手房 网址如下：
https://nt.ke.com/xiaoqu/
import requests
from bs4 import BeautifulSoup
import time
import xlwt

#网址如下
#https://nt.ke.com/xiaoqu/

def main():        #主函数
    for i in range(1,101):
        url=f"https://nt.ke.com/xiaoqu/pg{i}/"
    

			
		

	





	

		

			

				
					
探索高效数据抓取：链家贝壳爬虫项目详解

				
			

			

				

					gitblog_00078的博客
				

				

					03-23
					
					889
					
				

			

		

		

			
				
探索高效数据抓取：链家贝壳爬虫项目详解
项目地址:https://gitcode.com/jumper2014/lianjia-beike-spider
项目简介
链家贝壳爬虫项目是一个开源的数据抓取工具，主要用于从链家和贝壳找房网站上自动收集房产信息。该项目由Python编写，利用Scrapy框架，旨在帮助数据分析人员、研究人员或房地产市场爱好者快速获取大量一手房源数据。
技术分析
Scrapy...

			
		

	





	

		

			

				
					
python爬虫 爬取贝壳网中所有行政区内的二手房 将获取信息存于excle中--Excel文件 含分析

				
			

			

				

					Babyacy的博客
				

				

					03-01
					
					1157
					
				

			

		

		

			
				
-- coding: utf-8 --
“”"
Created on Sat Feb 29 19:13:37 2020
@author: acliu
“”"
#获取房屋的基本信息(若干页)
#贝壳二手房北京房价
#https://bj.ke.com/ershoufang/

import requests
import xlwt
import re
from bs4 import Beautifu...

			
		

	





	

		

			

				
					
从移动端爬取-贝壳数据

				
			

			

				

					yuxj的博客
				

				

					09-19
					
					3981
					
				

			

		

		

			
				
1.下载模拟器

我用的是pc的手机模拟器爬取-夜神模拟器，当然也可以使用自己 手机进行爬取

 夜神下载 ：https://www.yeshen.com/pg/yeshen?renqun_youhua=1797214

下载完成 打开后，点击设->WLAN->修改网络，给连接的wifi设置代理。

2.下载Fiddler

 https://www.telerik.com/...

			
		

	





	

		

			

				
					
Python爬虫实战：爬取贝壳网二手房40000条数据

				
			

			

				

					Python案例分享，B站视频教程：https://space.bilibili.com/523606542
				

				

					10-30
					
					1万+
					
				

			

		

		

			
				
前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

以下文章来源于啤酒就辣条 ，作者啤酒就辣条

一、网页分析

爬取贝壳网石家庄二手房信息，先打开链接


https://sjz.ke.com/ershoufang/。





不添加筛选条件，发现总共有42817套房子。我们点击第二页，再查看链接变成了https://sjz.ke.com/ershoufang/pg2/。所以，可发现/pg{i}，i就是页码。





所以..

			
		

	





	

		

			

				
					
python爬取数据教程_python爬虫爬取网页数据并解析数据

				
			

			

				

					06-09
				

			

		

		

			
				
好的，下面是一个简单的Python爬虫爬取网页数据并解析数据的教程：

1. 确定目标网站和要爬取的信息

首先，需要确定要爬取的网站和要提取的信息。可以使用Python的requests库向网站发送HTTP请求获取HTML源代码，并使用BeautifulSoup库解析HTML文档获取目标数据。

例如，我们要爬取CSDN博客的文章标题和链接，可以先打开CSDN博客主页，右键查看网页源代码，找到文章标题和链接所在的HTML标签。

2. 发送HTTP请求获取HTML源代码

接下来，使用Python的requests库向网站发送HTTP请求，获取HTML源代码。

```
import requests

url = 'https://blog.csdn.net/'
response = requests.get(url)
html = response.text
```

3. 解析HTML文档获取目标数据

使用BeautifulSoup库解析HTML文档，获取目标数据。

```
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')
titles = soup.find_all('div', class_='title')
for title in titles:
    link = title.find('a').get('href')
    title_text = title.find('a').text.strip()
    print(title_text, link)
```

上述代码中，通过`find_all`方法找到所有class属性为"title"的div标签，然后在每个div标签中找到第一个a标签，获取链接和标题文本。

4. 完整代码

```
import requests
from bs4 import BeautifulSoup

url = 'https://blog.csdn.net/'
response = requests.get(url)
html = response.text

soup = BeautifulSoup(html, 'html.parser')
titles = soup.find_all('div', class_='title')
for title in titles:
    link = title.find('a').get('href')
    title_text = title.find('a').text.strip()
    print(title_text, link)
```

以上就是一个简单的Python爬虫爬取网页数据并解析数据的教程。需要注意的是，在爬取网站数据时要遵守网站的爬虫协议，避免被网站封禁IP。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值