Python爬取Q房网全新楼盘房价信息，有钱人真的多

通过开发者工具可以发现，该网页为静态网页，对于数据的抓取还是比较简单的~

爬取目标数据：

• 小区名字

• 售房状态

• 房屋面积

• 户型

• 开盘时间

• 交房时间

• 楼盘地址

• 售价

• 预计总价

网站比较简单就不一一分析了~ 直接上代码

import requests

import parsel

import csv

f = open(‘房产数据.csv’, mode=‘a’, encoding=‘utf-8-sig’, newline=‘’)

csv_writer = csv.DictWriter(f, fieldnames=[‘标题’, ‘房产状态’, ‘售房面积’, ‘户型’, ‘开盘时间’, ‘出售时间’, ‘地址’, ‘售价’, ‘预计总价’])

csv_writer.writeheader()

for page in range(1, 84):

print(‘=正在爬取第{}页的数据===================’.format(page))

url = ‘https://shenzhen.qfang.com/newhouse/list/n{}’.format(page)

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

response = requests.get(url=url, headers=headers)

selector = parsel.Selector(response.text)

lis = selector.css(‘.list-result li’)

dit = {}

for li in lis:

title = li.css(‘.list-main-header a em::text’).get() # 名字

dit[‘标题’] = title

status = li.css(‘.list-main-header i::text’).get() # 是否在售

dit[‘房产状态’] = status

space = li.css(‘.list-main div:nth-child(1) .space span::text’).get() # 售房面积

dit[‘售房面积’] = space

type_list = li.css(‘.list-main.fl p:nth-child(3) span a::text’).getall() # 户型

type_str = ‘|’.join(type_list).strip().replace(‘\r\n’, ‘’).replace(’ ', ‘’) # 户型

dit[‘户型’] = type_str

kp_time = li.css(‘.new-house-info > div:nth-child(2) > p.space.fl.clearfix > span::text’).get() # 开盘时间

dit[‘开盘时间’] = kp_time

cs_time = li.css(‘.new-house-info > div:nth-child(2) > p:nth-child(3)> span::text’).get() # 出售时间

dit[‘出售时间’] = cs_time

address = li.css(‘.list-main a:nth-child(3)::text’).get() # 地址

if not address == None:

address = address.strip()

else:

address = None

dit[‘地址’] = address

Price = li.css(‘.list-price .bigger .amount::text’).get() # 售价

dit[‘售价’] = Price

hj_Price = li.css(‘.list-price .smaller::text’).get() # 预计总价

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！