爬虫重庆理工大学花溪校区附近房屋信息

从网站上收集重庆理工大学花溪校区附近房屋的特征数据，以及相应的房价，保存在文件housePrice文件中。

请注意，代码中的header需要读者自己的。打开浏览器开发者模式，点击任意network请求，复制下header替换代码中的header即可。

import requests
import parsel
import time
import csv

f = open('housePrice.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()

for page in range(1, 30):
    print('===========================正在下载第{}页数据================================'.format(page))
    time.sleep(1)
    url = f'https://cq.lianjia.com/ershoufang/pg{page}rs李家沱/'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
    }

    response = requests.get(url=url, headers=headers)
    selector = parsel.Selector(response.text)
    lis = selector.css('.sellListContent li')
    dit = {}
    for li in lis:
        title = li.css('.title a::text').get()
        dit['标题'] = title
        positionInfo = li.css('.positionInfo a::text').getall()
        info = '-'.join(positionInfo)
        dit['开发商'] = info
        houseInfo = li.css('.houseInfo::text').get()
        dit['房子信息'] = houseInfo
        followInfo = li.css('.followInfo::text').get()
        dit['发布周期'] = followInfo
        Price = li.css('.totalPrice span::text').get()
        dit['售价/万'] = Price
        unitPrice = li.css('.unitPrice span::text').get()
        dit['单价'] = unitPrice
        csv_writer.writerow(dit)
        print(dit)