房价回升？python采集一波周边房价数据看看先......

嗨害大家好鸭！我是芝士❤

今年前两月，
房地产投资和销售等多项数据出现明显反弹。

“1-2月份，根据国家统计局公布的销售金额和销售面积计算，全国商品住宅均价为10558元/平方米，涨幅为4.1%。房价数据终结了连续11个月的下跌态势，正式转正。”

这次就来亲自康康周边房价数据是怎样的

---

所需模块

- requests
- parsel
- re
- csv 内置模块

---

开发环境：

Python 3.8
Pycharm

---

思路解析

爬虫基本四大步骤:
    1. 发送请求, 模拟浏览器对url<网址/链接>, 发送请求
    2. 获取数据, 网页源代码 <比较多, 比较杂乱>
    3. 解析数据, 提取我们想要的数据内容 <精简之后, 想要的数据>
    4. 保存数据, 保存表格文件

---

代码展示

导入模块

import requests
import parsel
import csv

url审核不给过，放不出来
我很桑心

发送请求 & 获取数据

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/ ( like Gecko) Chrome/110.0.0.0 Safari/537.36'
}
 response = requests.get(url=url, headers=headers)
 print(response)
    html_data = response.text 

解析数据

selector = parsel.Selector(html_data)

    lis = selector.css('.sellListContent li .info')
    for li in lis:
        title = li.css('.title a::text').get()
        area_info = li.css('.positionInfo a::text').getall()
  
        area_1 = area_info[0]  
        area_2 = area_info[1]  
        Price = li.css('.totalPrice span::text').get() 
        unitPrice = li.css('.unitPrice span::text').get() 
        houseInfo = li.css('.houseInfo::text').get() 

        if len(houseInfo.split(' | ')) == 7:
            date = houseInfo.split(' | ')[5]          else:
            date = ''

        house_type = houseInfo.split(' | ')[0] 
        house_area = houseInfo.split(' | ')[1]  
        face = houseInfo.split(' | ')[2] 
        renovation = houseInfo.split(' | ')[3] 
        fool = houseInfo.split(' | ')[4]  
        framework = houseInfo.split(' | ')[-1] 
        link = li.css('.title a::attr(href)').get()  
        dit = {
            '标题': title,
            '小区名字': area_1,
            '地段': area_2,
            '总价': Price,
            '单价': unitPrice,
            '户型': house_type,
            '面积': house_area,
            '朝向': face,
            '装修': renovation,
            '楼层': fool,
            '架构': framework,
            '时间': date,
            '详情页': link,
        }

保存数据

csv_writer.writerow(dit)
        print(dit)

“随着这波积压的需求快速释放，预计3月市场修复势头较2月有所放缓。但这也并不代表市场‘熄火’，而是在向交易中枢修复过程中的正常振荡。”