嗨害大家好鸭!我是芝士❤
今年前两月,
房地产投资和销售等多项数据出现明显反弹。
“1-2月份,根据国家统计局公布的销售金额和销售面积计算,全国商品住宅均价为10558元/平方米,涨幅为4.1%。房价数据终结了连续11个月的下跌态势,正式转正。”
这次就来亲自康康周边房价数据是怎样的
所需模块
- requests
- parsel
- re
- csv 内置模块
开发环境:
Python 3.8
Pycharm
思路解析
爬虫基本四大步骤:
1. 发送请求, 模拟浏览器对url<网址/链接>, 发送请求
2. 获取数据, 网页源代码 <比较多, 比较杂乱>
3. 解析数据, 提取我们想要的数据内容 <精简之后, 想要的数据>
4. 保存数据, 保存表格文件
代码展示
导入模块
import requests
import parsel
import csv
url审核不给过,放不出来
我很桑心
发送请求 & 获取数据
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/ ( like Gecko) Chrome/110.0.0.0 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
print(response)
html_data = response.text
解析数据
selector = parsel.Selector(html_data)
lis = selector.css('.sellListContent li .info')
for li in lis:
title = li.css('.title a::text').get()
area_info = li.css('.positionInfo a::text').getall()
area_1 = area_info[0]
area_2 = area_info[1]
Price = li.css('.totalPrice span::text').get()
unitPrice = li.css('.unitPrice span::text').get()
houseInfo = li.css('.houseInfo::text').get()
if len(houseInfo.split(' | ')) == 7:
date = houseInfo.split(' | ')[5] else:
date = ''
house_type = houseInfo.split(' | ')[0]
house_area = houseInfo.split(' | ')[1]
face = houseInfo.split(' | ')[2]
renovation = houseInfo.split(' | ')[3]
fool = houseInfo.split(' | ')[4]
framework = houseInfo.split(' | ')[-1]
link = li.css('.title a::attr(href)').get()
dit = {
'标题': title,
'小区名字': area_1,
'地段': area_2,
'总价': Price,
'单价': unitPrice,
'户型': house_type,
'面积': house_area,
'朝向': face,
'装修': renovation,
'楼层': fool,
'架构': framework,
'时间': date,
'详情页': link,
}
保存数据
csv_writer.writerow(dit)
print(dit)
“随着这波积压的需求快速释放,预计3月市场修复势头较2月有所放缓。但这也并不代表市场‘熄火’,而是在向交易中枢修复过程中的正常振荡。”